渾邪王一心降漢，接到漢武帝同意歸降的消息後，他馬上派使者去催休屠王率部下一同進關。休屠王擔心漢朝薄待自己，就有些猶豫，推三阻四地打發走了渾邪王的使者。
休屠王不肯動身，使渾邪王騎虎難下。他對部下說：“現箭在弦上，不得不發。這事就由不得他了。”于是，渾邪王帶著手下兵馬突然對休屠王部發動襲擊，殺死了休屠王，抓住了休屠王的太子和全家，收攏了休屠王的部下，一同向東南移動，准備歸降漢朝。
霍去病命令關塞做好應急的准備，自己率部渡過黃河，恰逢渾邪王率領部下也趕來會合。兩軍遙遙相望，只有數里之隔。
渾邪王部眾中突然煙塵四起，有許多人往北面跑去。渾邪王部眾頓時亂成一團。原來，渾邪王的一些部下看到威武雄壯的漢軍，心里感到恐懼。他們中有的人本不想投降漢朝，所以一看到漢軍就勒轉馬頭落荒而逃。渾邪王大聲呵叱也無濟于事，部眾四散而逃。渾邪王大為氣惱。
當霍去病在遠處看到匈奴人炸了營，也不知道是匈奴人詐降還是渾邪王無法控制局面，便當機立斷，徑直率軍沖入匈奴人群中，直接找到了渾邪王。霍去病問明了情況之後，讓渾邪王安定身邊的部眾。他則率軍對逃跑的匈奴人進行了懲罰，共追殺了八千多逃跑的匈奴人，混亂的局勢才得到了控制。
投奔漢朝的匈奴人一共有四萬多人，都由霍去病和渾邪王率領著渡過了黃河到了漢朝境內。霍去病先行遣送渾邪王乘驛車馬到漢武帝出巡時的行在所拜謁，然後用車子把全部匈奴投降部落送到漢境，安置在北部邊郡等候漢武帝的處理。
漢武帝對遠方來降大肆賞賜，他不能在夷蠻之邦面前顯得太小氣。漢武帝封渾邪王為漯陰侯，食邑一萬戶，並額外給了數百萬的賞錢。渾邪王手下的四個小王也被封侯，呼毒尼為下摩侯，雁疵為輝渠侯，禽黎為河綦侯，調雖為常東侯。皇恩浩蕩，主客均大感滿意，皆大歡喜。
霍去病收虜出兵，處理混亂局面決斷有功，被漢武帝加封食邑一千七百戶。
渾邪王歸附時，漢朝廷動員民間車輛兩萬乘，前往迎接。各郡縣一級都攤派到了任務，但多年戰爭，均是府庫羞澀，無力購備車輛，只好向富庶起來的小農們租借馬匹。小農們擔心馬匹一去不返，不相信政府，都把馬匹藏匿起來。地方官們無可奈何，上報漢武帝說馬匹不夠用。
漢武帝聞訊後十分生氣，就要誅殺長安令。右內史汲黯卻看不慣漢武帝勞民傷財的做法，他對漢武帝說：“長安令何罪之有?渾邪王背叛他的主人，投降漢朝，陛下只要吩咐各縣用驛站車馬把他一站站地送來也就可以了，何必搞得天下大亂?加劇漢朝的貧困，去奉承一個投降的蠻族，不能說這是個明智之舉。”漢武帝心中氣惱，但又無法發作，只好啞口無言。
不久之後，漢武帝把投降過來的渾邪王和休屠王的部下分別安置在沿邊的隴西郡、北地郡、上郡、朔方郡和云中郡的北部。其具體位置在秦王朝時代所修築的要塞之外和黃河以南的地區。漢武帝允許他們仍舊保持匈奴原有的風俗習慣和生活方式。他們居住的地區叫屬國，建制與漢朝的郡平級，在上述五個邊郡之中各安排有一個屬國，史稱“五屬國”。
由于對隴西匈奴的沉重打擊和渾邪王的投降，匈奴西邊的勢力大衰。金城(今甘肅省蘭州市)、河西(河西走廊、甘肅中部)，西至祁連山，一直到鹽澤(今羅布泊)成為真空地帶，沒有匈奴人的蹤跡。偶爾有匈奴人的斥侯，但也來去匆匆。漢武帝經過廷議，決定在黃河以西地區(今甯夏回族自治區和甘肅省等地區)設置武威郡和酒泉郡。從此河西一帶正式成為漢朝的領土。漢朝官府不斷招募人民和輸送罪犯到那里開墾荒地，發展農業生產，加強邊防，河西得到了迅速的開發。
由于休屠王中途反悔拒不降漢，渾邪王殺了休屠王，把休屠王太子曰磾和休屠王妻閼氏，以及休屠王的弟弟倫全部關押在營中帶到漢朝交給漢武帝處理。漢武帝罰他們為官家奴婢。曰磾被派到負責宮廷供應的少府中給漢武帝養馬。