張謇4歲時起，父親張彭年開始教他學習《千字文》。到5歲，張謇已經可以完整無誤地背誦《千字文》，于是父親將他送進私塾讀書。但是張家祖上三代沒有人獲得過功名，也就是所謂"冷籍"。當時科舉規定"冷籍不得入試"。為了取得應試資格，張謇15歲時由他的一位老師宋琛安排，結識了鄰近如皋縣的張家。張家同意張謇冒充自家的子嗣報名獲得學籍。16歲，張謇考中了秀才。
但是從此如皋縣張家開始用冒名一事來要挾張謇，連續索要錢物，最後索性將張謇告上了公堂，要求得到一筆高昂的酬金。這一場訴訟延續了幾年，令張謇十分狼狽，家道也因此困頓下來。幸而張謇的老師們愛惜他的才華，為他四處斡旋。當時的通州知州孫云錦也出面為他調解，將此事上報給江蘇學政，繼而上書禮部。直到張謇20歲時，此案終于告終，禮部同意張謇重填履曆，撤銷控案，恢複通州原籍。
"冒籍案"結案後第二年，孫云錦調往江甯（今南京），邀請張謇入幕同往。在江甯，張謇認識了孫云錦的世交，淮軍"慶字營"統領吳長慶，此後成為吳的幕僚。吳長慶對張謇有不可忽略的提攜之功，所以張謇一直敬重吳長慶。
1880年吳長慶奉命督辦山東海防，張謇隨同到了山東登州。第二年，科舉不第的袁世凱來到登州投奔吳長慶。吳長慶認為袁世凱學識疏淺，命他在營中讀書，由張謇教導他。因此袁世凱當時對張謇行的是弟子之禮。袁世凱初到的時候，因為不得吳長慶重用，頗為郁郁不得志。後來張謇向吳長慶舉薦袁世凱，此後張袁二人成為吳長慶的文武兩大幕僚。
從16歲中秀才到27歲之間，張謇每兩年就去江甯參加一次鄉試，先後5次都未得中。1882年，朝鮮發生了"壬午兵變"，日本乘機派兵進抵仁川。為了阻止日本吞並朝鮮，吳長慶奉命率兵赴朝平定局勢，張謇隨同到了漢城。因為身處政治風暴中心的緣故，張謇雖然人在漢城，但是他所撰寫的政見和議論很快傳回北京，引起了高層官員的注意。他所撰寫的《條陳朝鮮事宜疏》、《壬午事略》、《善後六策》等政論主張對外持強硬政策。這受到了光緒的帝師，時任戶部尚書的翁同龢的賞識。翁同龢在政治上與慈禧不和，擁護光緒掌權，正需有人充實陣營，從此便不遺余力地提攜張謇。
在朝鮮不多時，因為李鴻章不喜歡吳長慶，慶軍被拆分為正副營。吳長慶率正營回國；袁世凱則率領慶軍副營留守朝鮮，幫助朝鮮練習新軍，袁氏的崛起就是從這里開始。袁世凱很快轉而投靠了李鴻章，這令回國失勢的吳長慶更加抑郁，不久病終。張謇痛斥了袁世凱一番，二人絕交多年，一直到辛亥革命以後。