咸豐三年一月二十八日，太平軍前鋒李開芳部開抵南京，與清軍遭遇。武漢自南京沿江路途一千八百里，李開芳部竟然一個月攻至南京，平均每日進軍六十余里，沿途清軍抵抗的微弱，實在令人震驚。太平天國對沿途百姓示以仁義，"見有乞丐，摺擲錢數百文"（《金陵被難記》），只是異常殘忍地迫害和尚，附近和尚被殺無數，南京周邊各寺廟和尚紛紛入城避難。
南京城經陸建瀛、楊文定兩個渾蛋一頓胡整，固若金湯、龍盤虎踞的名城已經破落不堪，僅有正規軍五千人防禦，而圍城太平軍有多少呢？汪士鐸述太平天國攻南京時人數說："其勇猶可（百人困一人則勝矣），其眾難敵也。破江甯日，口稱二百萬，七八十萬人足數也……故或登三山門望之，自城外至江東門一望無際，橫廣十余里，直望無際，皆紅頭人……故既眾且整，吾人望之奪氣"（《汪悔翁乙丙日記》）。
太平軍先頭部隊在南京城外沒有遇到正規部隊的抵抗，只與儒生張炳垣招募的米行腳夫組成的練勇發生激戰。張炳垣是個很有膽略和辦法的人，將數百練勇整頓得比清朝的正規軍還要勇猛，雖然沒有兵器，僅靠米行提供的扁擔等簡單工具與太平軍在城南打巷戰。太平軍前敵指揮李開芳勇猛有余，智謀不足，被地形熟悉的練勇打得暈頭轉向。于是南京城下出現了數百民兵對抗近萬訓練有素、武器精良的正規軍，另一只正規的政府軍躲在城牆上吶喊助威的戰爭奇觀。
太平軍參加攻擊練勇的部隊日益增多，練勇卻精神倍長，只可惜沒有趁手武器，于是向城牆上的總督陸建瀛求援，請"擲鳥槍火藥"，並求援軍及軍刀。張炳垣的後台老板祁宿藻欲率守城滿兵增援，陸建瀛竟認為城下的練勇是太平軍的內奸，激烈的交戰只不過是做做樣子欺騙清軍以便詐城，下令開炮轟擊練勇，練勇被炸死五百余人，其余人眾寒了心，逃到山中避難去了。練勇是南京城唯一有能力抵擋太平軍的戰斗力，練勇一散，南京的最後一道防線告破。祁宿藻見練勇被自己人開炮打得尸積如山，當即嘔血數升，抬回官邸不久後身亡。要錢不要命的陸建瀛居然還不知已死到臨頭，將被自己轟死的數百練勇尸體當成太平軍冒功上奏清廷，又將庫存三十萬兩銀子全部中飽私囊。
林鳳祥率陸師精銳萬人與李開芳會合，太平軍攻勢更見猛烈，尤其新運到數千斤大炮威力無比，城內多處建築被轟平，連陸建瀛坐鎮的聚寶門城樓也被打得千瘡百孔，陸總督雖然要錢不要命，這時也慌神了，幾欲棄城而逃。張炳垣獻計以牛皮泡水後包裹藤盾，再蒙以漁網豎立城頭抵擋炮子，十分靈驗。陸建瀛又起了僥幸心理，以為有張炳垣這位活諸葛坐鎮，南京城固若金湯，于是放棄逃跑念頭，開始再次算計庫房那快要見底的銀子。
太平軍奪占城外重要據點，以雨花台為核心，修築大量營壘，又將陸建瀛拋棄在城外的炮兵陣地有效利用起來，晝夜轟擊南京城，夜晚又放火焚燒城外寺廟、古跡，火光沖天，聲勢浩大，城內清軍膽寒心驚。林鳳祥很注意使用心理戰術恐嚇陸建瀛，將士兵分為無數小隊，實施戰術性的騷擾機動，引誘清軍消耗炮火，夜晚則不間斷地佯攻，使得守城士兵夜不能寐。據記載："賊又分數十人……距城半里許，三五窺探。守兵見之，即連續開炮，驚擾不已……自辰至酉，賊分股不過數十人，而東南北數門皆遍"（《金陵省難紀略》）。
南京城內的天地會部眾不斷在城內搞破壞，粘貼天德王光複金陵的布告，搞得城內人心惶惶，士兵杯弓蛇影，"群相驚疑，知有奸細"，南京城的守城意志不斷瓦解。加之太平軍在城外示以仁義，許多南京百姓紛紛盼望太平軍入城。《金陵被難記》中記載："先遣奸細，在城市布散謠言，張貼偽示皆曰不殺百姓，愚者每帖然信之。信則惑，惑則受害矣……其黨每購什物，倍加與之。"在這樣的群眾基礎下，南京城破已是必然。
楊秀清下令太平軍在靜海寺、天後宮等地開挖地道，准備實施穴地戰術。張炳垣與知縣劉同纓獻策開挖內壕，在入城口修築地堡，在城中交通干道兩旁房屋建設炮火，以防太平軍爆破入城，被陸建瀛拒絕。後來張炳垣又提議以炮轟擊靜海寺，去除太平軍挖地道的據點，副將湯貽汾親自點火炮擊靜海寺，"一發中，次梁便塌卸"，但炮火並未能破壞太平軍挖掘的地道。