高祖七年(公元前181年)九月，這時候漢朝的大權掌握在呂後的手里。她認為雖然南越王是漢高祖封的，但那只是一個外臣國，不受朝廷的直接統治，因此一向不作為中原的諸侯看待。在呂後臨朝的第四年(公元前197年)，有司奏請呂後禁止中原和南越的鐵器貿易。呂後也想治服南越，就在長沙國通往南越國的地界上設立了關卡，嚴格檢查禁運的貨物。呂後下令：“禁止把銅和鐵以及農具賣給南越。就是賣給他們馬牛羊的時候，也只能賣給他們公的，不許賣牝畜。”
南越人不但買不到中原的鐵器，後來就連他們所需要的日用品也采購不到，生活挺不方便，就報告到趙佗那里。
趙佗有求于人，只好三次打發人專程去向漢朝上奏章，承認過錯，請求通好。漢朝扣留了南越的三個使者：內史藩、中尉高和禦史千。
趙佗再也忍不住了，他火冒三丈，對左右說：“高帝立我為王，互通財物，使者來往不絕。現在呂後聽了奸臣的話，把我們南越當做野蠻人看待，斷絕了來往，禁運貨物。這准是長沙王的詭計，他想依靠漢朝的勢力，兼並南越，我們不能束手待斃。”
趙佗和漢朝翻臉，去掉漢朝的封號，自立為南越武帝。公元前190年，他發兵反漢，首先攻擊漢朝在南越北部設置的緩沖國——長沙國。
南越兵攻勢凶猛，攻入長沙國邊界，奪去了幾座縣城。長沙王吳回看到情況不妙，馬上派人飛馬報告呂後，請求漢朝發兵支援。
呂後心狠手辣，她下令掘了趙佗在中原的祖墳，並在第二年派出隆慮侯周灶為將軍的漢軍前去攻打南越。
漢軍跋山涉水，急速南行，由于路途崎嶇，走了幾個月才到了南方。正遇上這一年天氣酷熱又悶濕，中原派來的士兵水土不服，又染上疫病，漢軍還沒到達南嶺時就損失過半，余下的人馬也是勉強支撐，連南嶺都沒能越過。漢軍在道上轉來轉去費了一年多工夫，也沒能越過陽山嶺(今廣東省連縣東南)。第二年七月，呂後死，漢朝這才退了兵。
趙佗抵擋住了漢軍，因此得以用兵力揚威，他用財物賂遺給閩越、西甌等越族小國，勢力擴張達東西萬余里。他享用天子的儀式，乘坐黃車左纛，臨朝稱制，與漢朝對峙。
漢文帝即位之後，又對南越采取了安撫的政策。前元元年(公元前179年)六月，漢文帝下令修繕趙佗在真定的祖墳，並在墳邊設置采邑，按季節祭祀。同時漢文帝下令征召趙佗的宗族兄弟，給予他們高官和豐厚的賞賜。
漢文帝還想派陸賈前去南越安撫，就召陸賈為太中大夫，專使南越。陸賈到了南越之後，責備趙佗不報告朝廷而自立為帝。陸賈呈上了漢文帝寫給趙佗的一封信，信中對趙佗恩威並加。
趙佗看了漢文帝的信之後，說：“皇上真是個忠厚的長者，他這麼虛心而又誠懇地待我，我不會再和漢朝對抗的。”
趙佗主要是驚恐漢朝再次發兵，他頓首謝罪，表示願長為藩臣，遵奉貢職，趙佗通令全國說：“俗話說，兩雄不俱立，兩賢不並世，漢皇帝是個賢能的天子，從今以後南越去除帝號和天子之儀。”他又托陸賈帶回一封給漢文帝的信，信中也是用詞謙卑，漢文帝心中的一塊石頭落了地。
一直到景帝即位，南越堅持向漢朝稱臣，遣使朝請，如同漢朝設立的諸侯國一樣。
建元四年(公元前137年)。趙佗死，他的孫子趙胡繼立。這時候鄰國閩越王駱郢趕走了東甌王，准備吞並南越。趙胡一面吩咐士兵只守不戰，一面打發使者報告漢朝，說：“兩越同時屬國，不應互相攻打。現在閩越無故侵犯南越，臣不敢自做主張開戰，請皇上給予定奪。”
這時候漢朝是漢武帝在位，他聽到報告後派王恢和韓安國平定了閩越的叛亂。
建元六年(公元前135年)，漢武帝下詔罷兩將軍伐閩越的軍隊之後，又派嚴助前往南越，曉諭漢武帝嘉美趙胡能謹奉藩臣職責的意思。趙胡得到漢武帝的嘉許，頓首謝恩說：“天子是為臣興兵討伐閩越，臣雖死無以報德!”