打退太平軍後，李鴻章牢記曾國藩警示之語，絲毫不敢懈怠，立即著手整頓淮軍。李鴻章對自己招募的“叫花子兵”和“痞子將領”非常得意，對外宣稱：“鄙人的淮軍土是土氣了一點，但最能打仗！”
“叫花子兵”
1862年的上海，清明。天氣暖暖的，還泛著點早春的潮氣。街上的人們悠閑地享受著春天的氣息，互相打著招呼，客客氣氣地各自行路，仿佛上海從來就是這般太平清靜。
其實，從年初開始，太平軍就對上海展開了猛攻。在高橋和七寶兩大戰役中，慕王譚紹光將上海道台吳煦打得潰不成軍。上海告急！上海城里的洋人決定幫助清軍，他們組織了一支擁有400人、3門炮的洋槍隊。聯軍很快與太平軍交上了火。第一仗果然旗開得勝，殺了千余太平軍，俘虜了三百人。可隨後發生的第二次戰役，洋人就神氣不起來了。太平軍雖然傷亡不少，聯軍也死傷慘重，甚至英軍司令都腿部中彈。
看樣子最近一段時間的上海是不會安甯了。表面上悠閑的上海人暗地里都在議論著，究竟會是太平軍占領上海，還是清軍和聯軍把他們打退？人們紛紛猜測，聽說太平天國里女人不裹腳，男人不剃頭，野蠻得很，上海人不喜歡；現駐上海的清軍腐化墮落，一點軍人的樣子都沒有，上海人也不喜歡；賴在上海的洋人飛揚跋扈，上海人更不喜歡。究竟哪種勢力統治上海比較好，成為街頭巷尾人們的談資。
“突突突突……”的聲音從江面上傳來，戰爭中的高度警惕性使人們心里一緊，慌忙朝黃浦江上望去。只見有2艘，又像是3艘，又好象更多的火輪船冒著濃濃的黑煙，從遠處慢慢駛來。這是誰的船？是商船還是戰船？船上運的是什麼？人們紛紛揣測著，擔心著。船駛近了，人們漸漸肯定這不是商船，因為每艘船的甲板上都站滿了人，但又肯定不是客輪，因為甲板上的人都穿著同樣顏色和款式的衣服。第一艘船慢慢靠岸了，甲板上的人像被困久了的獸，擁擠著、雀躍著跳上岸來。上岸的人隨即被大上海的繁華鎮住了，他們張大了嘴巴，四處張望，然後用一種聽起來土得掉渣的話贊美著，也咒罵著。岸上的人也終于看清了船上的人，這些人的衣服破破爛爛的，上面布滿了汗漬和油膩，已分辨不出原來的顏色。上海人注意到，船上來的人雖然大多衣不蔽體，但一個個倒是挺注意用布把頭包得嚴嚴實實的。從他們衣服背部依稀綴著個“勇”字看來，這是一支軍隊。喜歡仔細觀察的上海人很快發現他們中也有官兵之分。穿麻鞋的是官，穿草鞋或根本不穿鞋的是兵。可這是誰的軍隊呢？駐上海的清軍絕對不是這個樣子的。他們官穿袍，兵著褂，腰間氣派地插著排刀，身穿顏色鮮豔的號衣。這些人的黑眼睛、扁鼻子，又顯然表明他們是中國人，並非洋軍隊；他們頭頂前部也沒有留頭發，因此也不會是太平軍。所有這一切，都讓見多識廣的上海人摸不著頭腦。他們奔走相告：“叫花子兵來了，叫花子兵來了！”
這支“叫花子兵”即後來大名鼎鼎、成為大清主力國防軍的淮軍，首領便是李鴻章。李鴻章從家鄉招募了這支其貌不揚的軍隊，專程來支援上海清軍對付太平軍。李鴻章因個子瘦高及為人清高，還得了個“云中鶴”的雅號。
上海人並不看好這支叫花子兵，李鴻章卻為他的子弟兵感到驕傲。他對迎接他的上海官員說：“敝人領導的淮軍有兩個特點，一是能打仗，二是有點土氣！”言下之意是，軍人的首要本領是打仗，只要能在戰場上取得勝利，外貌上的土氣又算得了什麼！本是由同樣的水土養就，李鴻章十分了解這些家鄉兵。別看他們平時懶懶散散、滿臉的匪氣和土氣，可一上戰場就像是換了人，只知勇猛殺敵，比八旗、綠營軍要強萬分。
太平軍攻占蘇州不久，忠王李秀成率軍進攻上海。上海官紳籌集白銀二十萬兩，雇用外國輪船，以主事錢鼎銘為代表，順江而下，尋求曾國藩的支援。錢鼎銘到安慶後對曾國藩說：“江南民眾如嬰孩盼望慈母、禾苗盼望雨水那樣希望曾大帥能夠派兵支援，以解上海之圍。”面對錢鼎銘的切切懇求，曾國藩深覺棘手。上海的經濟和軍事地位都非常重要，應全力援助。但派兵少了無濟于事；派兵多了，一旦前敵軍情吃緊，援軍難以回撤，就會打亂整個戰略部署。即使曾國藩甘願冒險，全力救援上海也不可行。當時湘軍與太平軍多線作戰，兵力也不充裕，如抽調一支進軍上海，等于是拆東牆補西牆，絕非上策。還有一個原因是曾國藩沒有挑明的，那就是上海固然重要，但曾的目標並非上海，而是南京！南京是太平天國的首都，攻下南京等于占了頭功！上海的繁華縱然令人羨慕，然同南京相比戰略地位就差多了，充其量只是一分戰場。孰輕孰重，曾國藩怎不明了！錢鼎銘看出了曾國藩的猶豫。他想到了一個人，這個人如果肯在曾國藩面前說情，這件事情十有八九能辦成。此人就是曾國藩最信任的學生和助手——李鴻章。
錢鼎銘向李鴻章提出支援上海的請求，李鴻章痛快地答應了，同意到曾國藩面前說情。看到李鴻章充滿信心的神態，錢鼎銘籲了一口氣，知道上海有救了。
曾國藩猶豫不定之際，清廷接到上海危急的奏報，命曾國藩派兵增援上海。一面是朝廷的命令，一面是李鴻章的大力勸說，曾國藩終于打消疑慮，決定發兵上海。其實，促使曾國藩決定出兵的主要原因是，上海官紳因等不及安慶方面的消息，決定向洋人借師助剿。所謂“借師助剿”，就是借用或雇傭外國軍隊攻打太平軍。洋人表現出積極的態度，答應幫助中國平定內亂。曾國藩認為，此舉縱使解得內憂，之後必有外患！急忙上奏朝廷：“借助洋人軍隊守護上海，保衛中外人士財產是可行的，但借助洋人軍隊進剿蘇州，收複清朝失地卻萬萬不可！上海、甯波為通商口岸，應當共同守護。而蘇州、南京卻非通商口岸，如果洋人插手中國內政，將會後患無窮。大清帝國的軍隊足以自立，就像家長有足夠的權威治家一樣，沒有必要借別人的棍子來教訓自家的逆子！”曾國藩有兩層意思，一是不願留下後患，讓洋人撈去更多利益；二是害怕洋兵攻占南京，搶了自己的頭功。清廷對此事並未表態。事實上，清廷也沒有更好的辦法解救上海之圍。這樣，曾國藩不得不從自己的隊伍里挑選赴滬人選。究竟派誰去解上海之圍？一向做事謹慎的曾國藩為此傷透了腦筋。軍中有一個叫吳坤修的湘軍將領主動請纓，願領兵援滬。曾國藩想都沒想就拒絕了——上海這塊大肥肉怎麼能輕易給人？曾國藩想起了弟弟曾國荃，如果派他援助上海，自己主攻南京，雙份功勞就都落在曾家手中，豈不兩全其美？曾國藩心中初步形成援滬計劃：于湘軍營內親選六千名精銳士兵調撥曾國荃援滬，同時令曾國荃趕回湖南老家招募八千名新兵補上空缺。曾國藩對自己的弟弟並不放心，又將得意門生李鴻章派去做其副手和軍師，保證此行萬無一失。