在這個時期，張謇可以躋身官場的機會很多。朝鮮希望以"賓師"的待遇留住他。而李鴻章雖不喜吳長慶，但卻非常樂意上書推薦張謇在朝中任事。吳長慶病故後，北洋大臣李鴻章和兩廣總督張之洞同時向他發出禮聘，邀其入幕。但張謇一概婉拒，人稱"南不拜張北不投李"，回到通州故里，繼續攻讀應試。這大約是一個舊時讀書人內心的自尊——希望靠自己考取功名，名正言順地踏入仕途。
1885年，張謇終于在鄉試中考中了第二名舉人。此後張謇開始參加禮部會試，向科舉的最高階段進發。很富戲劇性的是，當時翁同龢、潘祖蔭等"清流"黨人對他著力延攬，在禮部會試中暗中識別他的卷子，結果卻連著三次誤認了別人的卷子，將別人取中。1889年，張謇參加會試，結果"清流"的考官們將無錫孫和的卷子認作張謇的，孫考中而張落第。潘祖蔭因此氣憤不已，拒絕接受孫的拜見。1890年第三次會試，這次陶世鳳的卷子被誤認了，結果陶考中會元，張謇又落第。1892年第四次會試，考官們又誤認了劉可毅的卷子，張謇再次落第。
到1894年，也就是甲午年，因為慈禧六十壽辰特設了恩科會試。心灰意冷的張謇因父命難違，第五次進京應試。這次在禮部會試，張謇被取中第六十名貢士。三月禮部複試時中了一等第十一名，翁同龢將他改為第十名。四月殿試時翁同龢的提攜之心已經迫不及待。他命收卷官坐著等張謇交卷，然後直接送到自己手里，匆匆評閱之後，便勸說其他閱卷大臣把張謇的卷子定為第一，並特地向光緒介紹說："張謇，江南名士，且孝子也。"于是張謇在41歲的時候，終于得中一甲一名狀元，授以六品的翰林院修撰官職。
就在這一年，甲午戰爭爆發，北洋水師慘遭失敗。"清流"將目標對准李鴻章，借此沖擊主和的"後黨"。張謇上疏彈劾李鴻章，文中稱"（李鴻章）以四朝之元老，籌三省之海防，統勝兵精卒五十營，設機廠學堂六七處，曆時二十年之久，用財數千萬之多，一旦有事，但能漫為大言，脅制朝野。曾無一端立于可戰之地，以善可和之局"，並要求朝廷"另簡重臣，以戰求和"。甲午之恥令張謇深感仕途之無聊，他在筆記中寫道："願為小民盡稍有知見之心，不願廁貴人更不值計較之氣；願成一分一毫有用之事，不願居八命九命可恥之官。"不久張謇的父親去世，張謇回到故鄉守孝，從此離開了清朝的政治中心。
縱觀張謇的功名之路，既有科舉中的種種荒誕之處，又令人不禁欽佩他的堅持和自尊。如果張謇是一個現實主義者，如果他求取功名的目標是官權利祿，那麼朝鮮平叛之後他既可以留在朝鮮受人尊奉，也可以在李鴻章等大員的舉薦下直接獲得官職。可是張謇求取功名更像是一種自我實現。在他心目中，通過科舉得到認可和榮譽是一個讀書人成功的正道，其他方式都無法見容于他的自尊。為此他付出了生命的前41年。而一旦完成了這個過程，功名為他帶來的結果卻讓他感到失落。所以說他的內心有強烈的理想主義。同時張謇因為出身農家的緣故，富有草根情節，他的那句"願為小民盡稍有知見之心，不願廁貴人更不值計較之氣"就是一個寫照。這種理想主義和草根情節的交織是他後半生經營生涯的靈魂支柱，既成就了他，但或許也造成了他現實上的失敗。