江冬秀的性格和胡適溫文爾雅相反，時人曾盛傳江冬秀潑辣如母老虎，為一點小事會吵鬧不休。在他們白頭偕老的背後，胡適的情感世界其實並非一池靜水。關于胡適婚外情的挖掘近年頗有新知，如胡適跟表妹曹誠英情到深處，以致一度擬與江冬秀離異；胡適與美國女友韋蓮司之間長期的柏拉圖式的戀愛；胡適跟徐志摩的交際花太太陸小曼也有曖昧……這些略有耳聞的緋聞經常惹得江氏醋意大發，采用"非常手段"來整治"負心漢"。胡適怕老婆是出了名的，在家中的地位也"頗低"。胡適有一張婚後的全家福照片很說明問題，江冬秀端坐于太師椅上，頗有"一家之主"的風范，而胡適和兒子則規規矩矩地垂手站在兩邊，胡適的目光中還透出幾分惶恐，讓人忍俊不禁。這張照片，可算是這個家庭權力配置最生動的寫照了。
晚年的胡適對這一切淡然處之，也不在意別人譏笑他"懼內"了，胡適甚至開始收集各國關于"怕老婆"的文學故事、笑話和漫畫，然後得出了一個搞笑的"發現"：在全世界一百多個國家里，只有德國、日本、前蘇聯三個國家沒有"怕老婆"的故事，所以凡是有怕老婆故事的國家，都是自由民主的國家；凡是沒有這種故事的國家，都是獨裁或集權的國家。胡博士這樣用"科學實證"來為自己"懼內"辯解，真讓人哭笑不得。
暫時的平靜生活很快被打破，這年11月胡適又因為台北一次演講，引發一陣狂風暴雨般的文化圍剿。這次演講是為美國國際開發總署舉辦的"亞東區科學教育會議"而作，胡適是在洋人的糾纏下作了一個不過25分鍾的英文講演，題目為《科學發展所需要的社會改革》，內容其實依舊是他的老調重彈：頌揚西方的現代文明，攻擊中國的古老文明，以致刻薄指責我們民族的固有文化。
胡適在演講中提到，"我們東方這些老文明中沒有多少精神成分"，認為"現在正是我們東方人應當開始承認那些老文明中很少精神價值或完全沒有精神價值的時候了"。胡適否認東方文明的精神價值，一石激起千層浪，頓時引發了一場思想社會的震蕩，旋即遭到有"預謀"、有組織的猛烈圍攻。
在論爭中，徐複觀一馬當先，指責胡適論調是"中國人的恥辱，東方人的恥辱"，斥罵胡適"是一個作自瀆行為的最下賤的中國人"。胡秋原也在《文星》上發表長文《超越傳統派西化派俄化派前進》，文章重點批評西化派和胡適。此言既出，立即在港台的一些報刊上引起了關于中西文化的一場論戰，如《自由報》、《自立晚報》、《民主評論》、《政治評論》及《文星》雜志等，很多文章都對胡適進行火藥味十足的攻擊。
這時力挺胡適的學者也出來應戰，李敖就是其中比較活躍的，他長文《播種者胡適》在《文星》刊出，雜志還以胡適照片作為封面。李敖批評那些亂罵胡適的人和亂捧的人一樣，"通通抓不到癢處"。李敖極力推崇胡適，認為他是中國新文化和現代化的"播種者"，稱頌胡適對于我國走向現代化的貢獻。