武昌一敗，吳佩孚再難重整旗鼓。但一身正氣，拒當漢奸，大節不虧。最終被人所害
武昌一失，標志著吳佩孚就此日落西山，在這塊土地上，他昔日的風光不複再現。先敗走于河南，繼避難于。去四川的路上，為了躲避馮玉祥和蔣介石部隊的追殺，吳佩孚一行人總是擇有土匪出沒的荒涼山野而走。每過一處山寨，他都讓士兵拿著“吳佩孚”大張名片，向綠林好漢借路，一路上居然是無驚無險，順利地到達巴東。
在白帝城居住期間，日本人趁機找上門來。日軍上海艦隊司令、海軍少將荒城二郎和海軍駐上海特務機關長秀藤大佐專程前來游說吳佩孚。表示願意幫助山炮500門、機槍2000挺、步槍10萬支，還有其他物資，並贈餉銀100萬元，支持吳佩孚東山再起，重奪天下。吳佩孚搖搖頭說：“我過去有槍何止10萬，有錢何止100萬，由此可知天下事的成敗利鈍，決不在于有多少槍和多少錢！我們中國人家里的事，應該由中國人自己來管。貴國的好意，我吳佩孚敬謝不敏了。”
1931年，吳佩孚應張學良之邀，定居北平，那時“九一八”事變剛剛發生，張學良以子侄輩的身份邀他做客，沒想到招來一頓沒趣。
吳佩孚見面就質問：“沈陽事變，你為什麼不抵抗？”張學良臉色當時就變了：“我有中央命令。”
“有命令也不行，將在外君命有所不受，你連這個道理都不懂，真丟你老父的臉。”旁邊的人連忙拉了拉吳佩孚的衣襟，現在是在人家的地盤上，好歹得給主人留個面子。
吳佩孚甩開衣袖接著說：“國仇你不報，私仇你不報，你老子的棺材已經豎起來了！”
張學良是在蔣介石的不抵抗命令下退出東三省的，這時是有苦難言，只得畢恭畢敬地說：“玉帥罵得對，我確是給父親丟臉了。”隨後將東四什錦花園胡同的大宅院送給吳佩孚當寓所，並每月送他4000元。在四川蟄伏期間，吳佩孚曾自作一聯：
得意時，清白乃心，不納妾，不積金錢，飲酒賦詩，猶是書生本色;
失敗後，倔強到底，不出洋，不進租界，灌園抱甕，真個解甲歸田。
吳佩孚在當時以“四不主義”聞名于世，即：不住租界、不積私財、不出國、不納妾。他在第二次直奉戰爭中，在天津曾遭張作霖和馮玉祥的前後夾擊。敗北後，若是潛入租界，當可免去生命之虞和逃亡之苦。然而他斷然拒絕部下讓他進租界的建議，甯願亡命天涯。
但在不納妾這一點上，很重夫妻之倫的吳佩孚終究是身不由己，沒有做到最後。吳佩孚一生娶了四位夫人。在他15歲那年，娶了18歲的第一位夫人王氏，夫妻感情尚好，可惜3年後，王氏因病去世，沒有生育子女。吳佩孚直到31歲時，才續娶了第二個夫人李氏。據說李氏出身于蓬萊有名的富豪之家，相貌出眾，知書識禮。吳佩孚在長春做北洋第三鎮管帶時，全鎮女眷數百人，大家一致公認吳管帶夫人是最為出眾的。李夫人雖然出身富豪之家，但很賢淑，上奉吳母，代照顧吳佩孚的文孚。不過日子長了，婆媳間因為家務事產生了一些矛盾。特別是和吳佩孚結婚幾年，她沒有生育，更是讓吳母不滿。吳母就盤算著給吳佩孚納一房妾。這時張佩蘭出現了，她一見到文武雙全、風度瀟灑的吳佩孚，悄悄地愛上了他。張佩蘭為人乖巧，先認吳母當干娘，認吳佩孚為兄長，並且把吳母哄得很開心。吳母就做主讓吳佩孚再娶了張佩蘭。成婚的那一天，可憐夫人李氏眼淚婆娑地對張佩蘭道：“好妹子，你怎麼做起新娘子來了？”然後又轉向吳佩孚：“你是發過誓的，這輩子不納妾的，大丈夫一言九鼎，怎麼言而無信了。”一席話，說得兩位新人滿臉通紅。
吳佩孚從此再也沒什麼“緋聞”。開府洛陽時，有一位德國叫做露西的愛上了吳佩孚，西洋女子就是開放，大膽示愛，居然把個久經沙場的吳大帥嚇得退避三舍，在露西小姐的情書上批了四個大字：“老妻尚在。”但吳佩孚內心卻是得意的，對夫人道：“切莫以為我是糟老頭子了，還緊俏得很呢。”由此可見，不是他不諳風情，而是他對自己道德方面的要求和束縛。李夫人和張佩蘭始終也沒有為吳佩孚生下一子半女。1929年，吳佩孚56歲時，張佩蘭也已44歲，她眼看自己不能為吳家生育，就挑選了一名丫環，讓吳佩孚收房做小妾，但直到吳佩孚去世，這個小妾也沒有生育。吳佩孚一生終無子嗣。
吳佩孚在北平一直住到了1940年，自抗戰爆發後，他的日子更難熬了，日本人看中他過去的威望和“常勝將軍”這塊金字招牌，幾度拉他下水，據說為此花費了三千多萬日幣，仍是一無所得。
于是大特務土肥原親自出馬與吳佩孚交涉，土肥原開門見山，要求吳佩孚重新出山，調停中日和平。
“好哇，我也希望中日和平，但我說話不算數，你打個電話給你們的天皇和蔣委員長，弄一份全權委托書，我一定照辦。”吳佩孚打著哈哈。
“憑玉帥以往的威望，振臂一呼，肯定對時局大有好處。”土肥原給吳佩孚戴起了高帽。
“我在中國確有威望。”吳佩孚有點得意洋洋了，但話鋒一轉：“就是你們日本人不買賬，現在我讓你們退出中國，退出東三省，行嗎？”
土肥原決定來硬的了。不多久，他讓報界披露，吳佩孚將舉行記者招待會，公布對時局的看法，並事先擬好講話稿散了出去。與此同時，什錦花園門口也站上了日本憲兵，擺明了意思，姓吳的得識時務，不然沒好果子吃。
吳佩孚滿不在乎：“本帥什麼沒見過，跟我玩這種小兒科？”他決定招待會照常出席無妨。
就在這招待會上，吳佩孚當著中外記者堅定宣布，他本人雖然贊成和平，但有三個先決條件：一、日本無條件全面撤兵;二、中華民國須保持領土和主權的完整;三、日本應以國民政府為議和的交涉對象。他一轉身，大聲對秘書道：“你給我逐字譯成日文，一字一句，斷乎不能有片言更改。”
汪精衛也曾親到北平，約吳佩孚前往日本華北方面軍總司令的官邸，商談合作。吳佩孚斷然拒絕，說：“我們是中國人，談的是中國事，到日本人那里去談什麼東西？”日本人在拉吳佩孚下水之事上，可謂投資巨大，居然是竹籃打水一場空。惱羞成怒之下，終于要下毒手了。
1939年11月24日，吳佩孚吃飯時，餃子餡里的骨頭渣嵌入牙縫中，頓時疼痛難忍。
聽說吳佩孚患了牙疾，日本方面表現了過多的關注，駐紮在北平的川本少將、華北漢奸組織“治安總部部長”齊燮元等人，帶著牙醫前來探視。吳佩孚這時疼得已說不出話來，只有怒目而視。
吳佩孚的夫人張佩蘭及幕僚見他們來勢洶洶，本能地阻攔他們。但被川本帶來的憲兵趕出臥室。日本醫生手拿鋒利的手術刀，並沒有刺向化膿的牙槽，而是直刺玉帥的咽喉，只聽一聲慘呼，吳佩孚圓睜雙眼，口中血如泉湧，就此離開人世。吳佩孚之死，在北平引起轟動，所謂公道自在人心，他出殯的那一天，北平萬人空巷，從東口大街一直到神路街口，密密層層，排滿了人群，都是自願為吳佩孚送行的老百姓，臉上淨是悲憤的表情。蔣介石也為吳佩孚的死感到震驚，親自寫了一份電報，極為動情：“先生托志春秋，精忠許國，比歲以還，處境彌艱，勁節彌厲，雖暴敵肆其誘脅，群奸竭其簧鼓，迄後屹立如山，不移不屈，大義炳輝，海宇崇欽。”
國民黨元老吳稚暉是這樣評價吳佩孚的，“子玉先生的品格，不論你政見如何，都是應該表示欽佩的。”此語不無道理。