然而間隔兩個月不到，在12月14日胡適回第二封信時就替袁瓞擔憂起來。胡適雖希望民間多一些袁瓞式的思考者，但明白作為有一定聲譽的《自由中國》與雷震命運尚且如此，一個賣芝麻餅的小販談政治，弄不好會讓當局像掐死一只螞蟻那樣簡單？！擔心他們終會野草般悄無聲息地被連根拔除。從樂觀滑向勸小販莫做"大煞風景的事"，告誡袁瓞"不要在信上多談政事"，無疑為胡適個人的溫和與努力增添了幾分悲劇色彩。
晚年胡適的寂寞在台灣路人皆知，1961年2月1日的《聯合報》刊發了于衡《胡博士的寂寞》特寫。徐複觀曾形象地說："胡先生在五四運動時代，有兵有將，
即是有青年，有朋友。民國十四五年以後，卻有將無兵，即是有朋友而無青年。今日在台灣，則既無兵，又無將，即是既無青年，又無真正的朋友。自由民主，是要面對現實的；因此，這便削弱了他對現實發言的力量，更增加他內心的苦悶乃至痛苦。"
這時唯一比較能平和胡適心態的也許莫過于吳健雄女士。吳健雄是胡適在中國公學時的學生，胡適治學有門戶之見，所以對吳健雄的評價也就特別高。1962年2月21日，胡適對客人談起吳健雄的成就，說1958年李政道、楊振甯得諾貝爾獎金時，國內許多人為了吳健雄在這份榮譽中沒有份，感覺十分不公平。而感覺十分不公平的國人里，胡適肯定有份。
1962年2月22日，吳健雄從美國飛抵台灣拜訪胡適，順便友情參加24日的院士會議。這次院士會議，胡適抱的依然是無可救藥的樂觀主義精神，大談十幾年來在這個孤島上，雖算是離群索居，在知識和物質的困難情形之下，總算做出點東西。然後他繼續驕傲地說：
我常向人說，我是一個對物理學一竅不通的人，但我卻有兩個學生是物理學家：一個是北京大學物理系主任饒毓泰，一個是曾與李政道、楊振甯合作證驗"對等律之不可靠性"的吳健雄女士。而吳大猷卻是饒毓泰的學生，楊振甯、李政道又是吳大猷的學生。排行起來，饒毓泰、吳健雄是第二代，吳大猷是第三代，楊振甯、李政道是第四代了。中午聚餐時，吳健雄還對吳大猷說："我高一輩，你該叫我'師叔'呢！"這一件事，我認為生平最得意，也是最值得自豪的。
胡適話剛一結束，"平時喜作青白眼"的副院長李濟不以為然，與胡適樂觀態度唱反調。這個考古派領袖表示經過50年提倡，科學思想還是在中國生根不成。今天一切科學設備還是向外國買來的，學生最後必須出洋去，甚至比不上日本。這時吳大猷站起來說了一些折中的話打圓場。胡適顯然在李濟悲觀主義話語中受到了刺激，于是又拿回話語權，直接從科學說到民主自由：