胡適在1961年美國國際開發總署舉辦的會議上演講，說現在應當承認我們的文化中少有甚至沒有精神價值。胡適否認中國文化的精神價值，對中國文化的目的和采取的方法，讓徐複觀在情感上無法接受，激情相挾下徐複觀再也掩飾不了噴薄的情感，寫出謾罵式的《中國人的恥辱東方人的恥辱》，以強硬的語氣抨擊道："我應當向中國人向東方人宣布出來，胡博士之擔任中央研究院院長，是中國人的恥辱，是東方人的恥辱。我之所以如此說，……是因為他過了七十之年，感到對人類任何學問都沾不到邊，于是由過分的自卑心理，發而為狂悖的言論……"
徐複觀從一開始就對胡適"惡語相向"，引起力挺胡適一方的李敖、居浩然等人激勵反對，挺胡派有殷海光暗中撐腰，雙方釀成了一場著名的"中西文化論戰"，《文星》、《民主評論》雜志成為論戰雙方的主戰場。徐複觀無疑是這場論戰的導火索和主力，當雙方罵得不可開交的時候，傳來了胡適闔然長逝的消息。
徐複觀于胡適的學問雖有微辭，于胡適對文化的態度雖有責難，但一貫尊重他對民主自由的追求，也不懷疑他對民主自由的追求。徐複觀和胡適之間的恩恩怨怨隨著胡適的逝世而煙消云散，胡適去世消息傳來後，徐複觀立即從論爭的氣氛中脫離出來，數月來與胡適在文化上的爭論，立即轉變為無限哀悼之情，寫出《一個偉大書生的悲劇》的悼念之文。
文中坦陳對胡適的意見，對胡適作了中肯評價："我深切了解在真正的自由民主未實現以前，所有的書生，都是悲劇的命運；除非一個人的良心喪盡，把悲劇當喜劇來演奏。……正因為他是悲劇性的書生，所以也是一個偉大的書生。"
徐複觀性格有著不可改悔的好辯執拗，在學術界有時猶如在沙場上殺紅了眼睛的戰士，對前輩師友都敢不顧顏面地橫加指責，他連對自己有知遇之恩的蔣介石、熊十力也不放過，何況他人乎？
殷海光就曾跟徐複觀坦言，相識二十多年，徐為他時常所厭惡的人物，但亦為他心靈深處所激賞的人物之一。充滿著道德熱情和勇氣的理想主義者殷海光能說出這樣的話，真是把徐複觀當成真正的朋友與對手。能為殷海光既厭惡又激賞，徐複觀今生今世可算遇到知音了。
徐複觀與殷海光在少年時代都深受欺壓，故潛意識里都產生了反抗性，他們脾氣都有些怪而且壞，眼里容不下蠅營狗苟之輩。他兩人之間只是一些學術觀點的不同，更多的是心性的相通，即使在他們敵對最尖銳的時候，雙方內心中都敬重這樣一個文化敵人。後來兩人都意識到連年筆戰使剩下本已無多的知識分子兩敗俱傷，最終他們又化敵為友，成為一對決不是一般尋常意義的朋友。