針對正規軍不堪一戰的狀況，咸豐帝不得不作出調整，號召地方舉辦團練，助官兵防剿。內亂初起，咸豐帝對舉辦團練非常慎重，僅允許在廣西、湖南、江西等所謂“賊氛逼近”之處推行。陝西巡撫張祥河曾建議該地“擇要舉行團練”，卻遭咸豐帝質疑。
咸豐諭曰：
陝西興安一帶地方與湖北接壤，固應先事籌防，惟團練鄉勇一事，現在廣西湖南等省均經該地方官次第辦理，總無成效，轉滋驚擾，且鄉民良莠不齊，易聚難散，若于無事之時，令其朝夕練習槍械，亦覺駭人耳目，自不如力行保甲最為緝奸良法，該撫惟當嚴飭地方官，實力編查，預防奸細闌入，並隨時教練弁兵，勤加操練，俾該處營伍悉成勁旅，保衛民生，示以鎮靜，方于地方不致擾累，切不可過涉張皇，致滋流弊。所云現行團練，令民早晚練習，日中仍安本業，是否無妨百姓生理？其官為合操經費何出？並將來如何遣散之處，亦應預為籌及。
相對來說，咸豐帝更看重保甲和堅壁清野之法。據《清實錄》載，咸豐元年、二年間，咸豐帝與各地督撫廷議保甲和堅壁清野之法，計有十八次之多。“堅壁清野”一時被內外朝臣視作“平亂良方”，屢次上陳。如前任太常寺卿唐鑒奏“廣西用兵請飭立民堡收恤難民”；大學士卓秉恬遞呈嘉慶年間堅壁清野之議；欽差大臣周天爵亦主張實行保甲衛民之法。工部左侍郎呂賢基則更是強調將團練之事專屬地方巡撫辦理，認為“廣西賊匪之擾在內地，與外寇異；平外寇責在將帥，平內寇責在巡撫”。抵禦之道“固在能殺賊匪，尤在保衛居民；不恃多調官兵，而恃團練鄉勇”，因此必須加強堅壁清野，以守為剿：“各村各鄉自為團練，令眾人共舉紳士之公正有謀略者為首，擇險要之地共結為寨。其平原曠野零星散戶則並入寨中；凡州縣交界及鄰省交界之處皆據險結寨以為固守，守之而耕種于其內。賊至，則入寨自保而乘間出擊；賊退，則各寨截殺而不窮追”。群臣從嘉慶年間平亂經驗出發，普遍認為：“從前川陝教匪滋事，堡寨建成，然後殄滅。現在廣西剿匪亦惟深溝高壘，人自為兵，各保藩籬，守望相助。”
所謂福無雙至，禍不單行。國難當頭之際，曾國藩家中又遭變故。咸豐二年六月十二日，曾國藩母親江夫人辭世。事發當天，曾國藩接到諭旨，充任江西鄉試主考。曾國藩已十余年未曾回鄉，此次赴任離家不遠的南昌，決定考試結束後請假兩月，回籍省親。行至安徽，曾國藩聞母親病歿，遂改道湘鄉回家奔喪。曾國藩抵湘後切膚感受到太平天國革命狂飆之猛烈。鄉居期間，他寫下《保守太平歌》，號召地方士紳振作人心，保家衛國。咸豐二年十一月，曾國藩接到聖旨，令其在鄉舉辦團練。這份諭旨改變了曾國藩一生的命運。
內容如下：
前任丁憂侍郎曾國藩籍隸湘鄉，現聞在籍，其于湖南地方人情自必熟悉，著該撫傳諭令其幫同辦理本省團練鄉民稽查土匪諸事，務必盡力不負委任。
當時曾國藩母親還未發喪，靈柩停放在家，尸骨未寒。按照清制，官員服喪期間仍須辦公者稱為“奪情”。曾國藩是著名的孝子，當然不肯因“奪情”而遭人恥笑，乃向湖南巡撫張亮基懇請“終制”。書信尚未發出，張亮基的信件卻先到一步，告知湖北省會武昌已為太平軍所占。恰在這一天，曾的好友郭嵩燾也以奔喪吊唁為名，充當張亮基的說客，規勸曾國藩出山。郭嵩燾對曾國藩說：“公素具澄清天下之志，今不乘時而出，拘于古禮，何益于君父？且墨绖從戎，古之制也。”曾父亦支持曾國藩出山。曾國藩遂決意于湘鄉創辦團練，“不欲複執守制不出之初心，能盡一分力，必須拼命效此一分，成敗利鈍，付之不問”。
曾國藩之辦理團練，改變了有清一代二百余年的統治格局，有曆史學家評價其為“傳統國家的崩潰”與“中國近代史的開始”。此舉無疑具有劃時代的意義！
曾國藩舉辦團練的名言是：“重在團，不重在練。”他認為團練的“團”，實際就是保甲之法：“團練與保甲名雖不同，實則一事”。“團則齊心合力，以一族之父兄治一族之子弟，以一方之良民，辦一方之匪徒”。“練”則是保甲軍事功能的進一步發揮：“制器械，造旗幟，請教師，揀丁壯……又或厚築碉堡，聚立山寨”。但如此“非多斂錢文不可”，“方今百姓窮困，無生可謀”，所以，各鄉只宜行保甲之法，團而不練。至多于城鄉“操練一二百人，以資剿辦土匪之用”。在現有團練基礎上，曾國藩提出其辦團的重要思想——“赤地立軍，別開生面”，即抽練一支不同于綠營軍的新軍——勇營。