長途移民無疑是一條血淚之路，清政府只好采取武力押送的辦法。中國南方稱上廁所為"解手"，正源于清朝移民路上，被捆綁的民眾欲出恭都必須先向士兵請求"解手"。盡管如此，還是有許多人在抵制移民政策，這些人在失去土地後，甘願成為"流民"，過著一種江湖放蕩的生活。"流民"的存在，大大加劇清朝統治的危機。十九世紀早期，不少"流民"在三合會領導下流竄廣西，以搶劫居民和武裝打劫官府為生，他們甚至控制廣西水道，收取保護費，過著一種類似海盜的營生，清廷稱之為"艇匪"。英國詩人拜倫有詩詠海盜，"廣袤啊，凡長風吹拂之地、凡海波翻卷之處，這全是我們的帝國，它的權力橫掃一切，我們的旗幟就是王笏，所遇莫有不從，""姑娘們在海邊，懷想著海盜。"某些有理想而富于文藝青年色彩的"艇匪"頭目甚至做起了宋江夢來，三合會紛紛在廣西、湖南發動起義，如雷再浩、李沅發，張嘉祥等。可惜梁山式的浪漫總敵不過滿清的屠刀，這些起義都被清廷鎮壓了，只有張嘉祥把宋江夢做到了頭，招安後搖身一變，成了大帥張國梁。
廣西的土地問題由于移民潮，在全國顯得格外突出。據崔之清先生的考據，公元1851年時，全國人口四億三千萬，廣西人口約七百八十萬，但全國人均土地只有一點七畝，而廣西竟然僅一點一畝。中國最稱盛世的唐貞觀年間，每人能分到永業田二十畝，口分田八十畝，相比之下，清道咸年間的農民真可謂無立錐之地。不光土地稀少，銅錢也在貶值，清朝前期一兩銀子折合一千錢，到了太平天國運動前夕，在廣西出現一兩銀子換二千二百文錢的驚人局面。銀貴錢賤，商業陷入混亂，商人紛紛破產，"向之商賈，今變而為窮民；向之小販，今變而為乞丐"（《駱文忠公奏議》），農工商一齊崩壞，加以天災，廣西人都快活不下去了。清廷自述"廣西山多田少，地皆澇確，物產甚稀。居民謀生無計，十室九空，凍餒難堪，盜心易動"（《粵寇起事紀實》）。李秀成自述其"家中之苦，度日不能，度月格（更）難"。在生活的重壓下掙紮的廣西人，喊出"在家做饑民，不如出外做流民"的呼聲，然後他們又從流民變成三合會起義部隊。
清廷在兩廣大肆撤防裁軍，許多只會當兵的老兵油子無法謀生，只好混入三合會組織，做"山賊這份很有前途的職業"，職業軍人加入組織，三合會叛亂聲勢大盛。"遣散之勇，半系無業游民，流入廣西，剽掠為生，從此盜風愈熾"（《駱文忠公奏議》）。坐鎮廣東的總督徐廣縉不但不支援自己有管轄職責的廣西，反而依仗兵精糧足，以鄰為壑，把游民和三合會亂黨都驅趕入桂，廣西三合會氣焰更張。
不過，若要真正動搖清廷根基，這些會黨流民顯得未免太缺乏軍事素養，也缺乏組織性。他們頂多成為太平天國運動的前奏和配角。光榮的反清任務，要等客家和土著的村寨仇殺，逼出軍事化的客家農民來完成。
清王朝以孤兒寡母開國，統二十萬八旗子弟入關，統治國內以漢族為主的數億人民，猶如架扁舟航于怒海，稍不留意則粉身碎骨。有清一代，一直在漢族"反清複明"的會黨叛亂中戰戰兢兢。國學大師錢穆說，因為統治基礎薄弱，所以清代的政權建設，並無制度可言，著力處總歸在防漢制漢的"法術"上。自康熙帝始，清廷在漢、回等族的紛爭和漢族內部移民與當地居民的斗爭中采取不作為的政策。一方面因為清廷在社會底層統治力量薄弱，一方面他們也樂于見到漢族的反叛力量在這些斗爭中消耗。在這種政策指導下，中國下層社會一直動蕩不安，客家人與本地人的武裝糾紛在湖南、廣西等地更是越演越烈。
大量湧入廣西開墾土地的客家人，與廣西本地土著居民之間矛盾重重。廣西土地本就不多，客家人與本地人經常為了奪佃、奪耕問題發生武裝械斗。由于三合會叛亂的影響和軍事教育作用，客家人和本地人村社之間慘烈的仇殺很快升級，廣西、湖南農村社會在十九世紀四十年代很快趨向軍事化。除常見的土匪、會黨外，鄉紳們確信他們不能指望從貪汙無能的官方得到援助，于是便建立了地方防禦聯合組織團，由他們來領導村社事務和動員民團。但"某些被稱為團的民團本身與非法之徒毫無區別，一樣趁機走私和攔路行劫"（《劍橋中國晚清史》上卷）。無論是士紳組成的團，還是三合會領導下本地人組成的堂，都嚴重地損害了客家人的利益。客家人在生存壓力下，迅速地組織動員起來，開始發展武裝力量。"在本地人和客家人的爭斗中，客家人有幾種不利的情況。他們缺少本地財主們擁有的共同的家族結構，武裝力量正是要靠宗族凝聚力才能穩定地維持下去；另外，他們還可能因分散居住（無核心可集結）而遭殃，這決定于他們的經濟地位，因他們都定居在邊沿地帶的分散的小塊土地上。在十九世紀四十年代的世代械斗期間，那些貧窮而無力防禦的客家村社往往被迫離鄉背井。雖然居住方式和財產都對他們的敵人有利，但共同的語言使各階級的客家人在面臨危機時得以團結起來組成一支可觀的武裝力量。在這種情況下，意識形態和方言使散居毫無防禦的客家人能夠應付四十年代後期的挑戰，這時村社間的緊張關系已到一觸即發的地步"（邁隆·科恩《作為中國東南地區社會文化變種的客家方言》）。
由于客家人之間缺乏血緣紐帶的聯系，使得他們的軍事組織脫離血親民團的原始形態，而極像近代國家常備軍的組織形式。
客家人擁有正規化武裝組織後，仇殺進入碉堡戰的階段，各個村落都在修建碉堡，挖掘戰壕，"全民大練兵"，熱火朝天。這樣一來，廣西的廣大農村地區靠自己的武裝實行自治，完全不受清廷的控制了。無論是征集賦稅，還是維持秩序，地方衙門對這兩項主要任務都無法有效地執行，這些權力，轉到實力龐大的武裝集團手中。廣西等地的會黨叛亂、武裝仇殺，使得當地的居民迅速地適應刀頭舔血的生涯，勇敢而粗暴，強大的村民自衛武裝使他們對官府的蔑視達到前所未有的程度，事實上，這個昏庸而暴戾的朝廷也確實沒有任何值得重視的地方。尤其當仇殺發展到碉堡時代，廣西、湖南邊境的農民，其軍事經驗已遠遠超過多年未曾訓練的綠營士兵，湘軍、太平軍的中下層領導，也在這些仇殺中，迅速地成熟起來。當日的粵湘桂邊境，猶如一個火藥桶，仿佛今日伊拉克、阿富汗一般。正如洪秀全詩所說"待到風云齊聚會，飛騰六合定坤乾"。廣西、湖南的百萬虎狼之眾，只待一個綱領，一個偶像，將他們有效地組織起來，成為一股改定乾坤的巨大力量。