張國梁十八歲這一年，有天地會的朋友李某得罪了當地的土豪，被土豪率團練圍困。這個土豪在當地勢力龐大，又有官府背景，無人敢救援李某。年僅十八歲的張國梁卻有氣敢任，號召一群平日交游的少年攻破土豪的大宅，殺死土豪，搶掠財物，放火燒屋，又劫回李某。當地傳為美談，人稱"拯弱鋤強張嘉祥"。
張國梁殺死土豪，遭到官府通緝，不得以逃入山中，投奔一個占山為王的土匪窩。土匪頭子也是個有眼光的人物，因張國梁器宇軒昂，一見即欲招為女婿。"龍生龍，鳳養鳳"，環境熏陶使然也，山大王的女兒，自然喜歡大胡子、胸毛濃密、滿臉橫肉的粗魯漢子，對張國梁這樣的白面小生自然是看不上眼，極力反對，婚事未成。土匪頭子對張國梁的謀略十分佩服，欲提拔為自己的副手，又遭到其他頭領的反對。當時《水滸傳》在民間十分流行，識字的看書，不識字的聽書，山寨的土匪們更是把這書當成占山為王的入門書籍，《水滸傳》中白衣秀士王倫的形象，深入人心，白衣秀士張國梁，自然也難讓人信任，于是山寨頭領排座次，張國梁只排到了第十，稱為"老幺"（最小的意思）。不久，張國梁開始帶隊下山搶劫，果然沒有辜負山寨大哥的信任，每次的收獲都是其他頭領的數倍，清軍來征剿，也屢屢被張國梁打敗，于是山寨眾頭領都服氣，在帶頭大哥死後，讓張國梁坐了頭把交椅。
兩廣物產貧瘠，清軍清剿的力度也大，張國梁統率部眾轉戰越南"借糧"。越南人驅使戰象迎戰，張國梁的馬隊被象群震懾，紛紛逃竄，潰不成軍。張國梁心思十分機敏，暗自琢磨這世界上總是一物降一物，民間傳說老鼠能克大象，不妨一試。第二日，張國梁與越南人戰斗時，放出數百只老鼠，四下亂竄，大象果然驚懼不敢動彈，張國梁趁機揮軍大敗越南人，劫得大批物資，實力大增，部眾擴充至萬人。
張國梁是個干大事的人，有了足夠的資本後，不再滿足做打家劫舍的土匪，干脆打起了反清的旗幟，在橫州燒香開堂，正式宣布成立天地會新的"山堂"——怡義堂，起兵反清。張國梁是天生的大將之才，雖然未曾讀過孫吳兵法，但坐作進止，無不與古人兵法暗合，又善于團結部眾，每戰身先士卒，對抗官兵屢屢以寡勝眾，怡義堂遂稱雄于郁江之上。
張國梁是步兵小分隊作戰的專家，對小股步兵的滲透和偷襲的戰術運用得十分精妙，尤其擅長水面炮戰之法。張對冷兵器也十分有研究，與清軍山地作戰，往往令部下拋棄刀矛，改用長竹竿迎戰，竹竿越戰則越削越銳，刺入人體造成的傷創破壞極大，加上輕巧便于攜帶，很快被天地會和太平天國起義軍效法，成為克制清軍的有力武器。
當時兩廣起義部隊很多，魚龍混雜，有的起義軍確實是吊民伐罪的義師，有的則是赤裸裸的強盜。怡義堂在兩廣的口碑最好，不濫殺，不劫平民，只打劫官員和商。打劫官員和商隊，往往不殺非戰斗性人員，打劫後還會留下十分之一的財貨，"俾得為商之資本，官民之旅費"。
張國梁創造過一首當時流傳最廣，最有鼓動力的反詩：
"上等的人欠我錢，中等的人得覺眠，
下等的人跟我去，好過租牛耕瘦田！"
上等的人是革命的對象，中等人暫且放過，下等貧民都來造反，再不讓人剝削，這反詩不但有鼓動性，而且富于策略，搞清楚了"誰是我們的朋友，誰是我們的敵人"，這個統戰的難題。許多人都被張國梁的這首歌謠鼓動起來反清，令人意想不到的是，反詩的作者，起義軍的偶像人物，"拯弱鋤強張嘉祥"卻學了宋江，受勞崇光的招安，解散隊伍，投靠了清朝，成為鎮壓起義的悍將。這頗讓人哭笑不得，于是後來史家在引用那首膾炙人口的反詩時，都只好隱去作者姓名，題為無名氏。
張國梁被李秀成圍攻，臨死前自稱"年十八為盜魁，二十八而折節從軍，為國虎臣，三十八而致命遂志"，似乎對他當年的選擇毫不後悔。起義陣線的大英雄，搖身變成清廷最忠實的鷹犬；最仗義的盟友，成為最凶惡的屠夫，張國梁這樣的轉變，在曆史上並不少見。他到底懷著什麼心態背叛了盟友和弟兄，後人已無從得知。但是可以肯定的是，張國梁的抉擇，絕對讓他的曆史地位下滑了好幾個檔次。張國梁的才略，絲毫不遜色于曆史上那些名將猛帥，他本來可以有機會作為一個民族革命的偉人載入史冊。投靠清廷，非但讓他在人格上遭到無數人的鄙視，清廷的猜忌，也屈了他的才。有記載，張國梁母親壽辰，他以千金聘當地人彭氏作序，彭氏將其趕出門外，罵張國梁為反複小人，張國梁只得赧顏而退。