大宛王毋寡馬上寫了封信給東邊的守將郁成王，讓他們出兵攔截漢朝的使者。郁成王接信之後，決定半路行劫，他帶著人馬等在漢朝使者回去的路上。漢朝使者車令和隨從士兵被郁成王團團圍住。車令畢竟人少勢弱，被郁成王殺了個乾淨，車令帶去的黃金和一些禮物也全部被郁成王奪去了。
大漢朝使節團全被屠殺，一人不留，這在曆史上還是第一次。漢武帝接到報告大發雷霆，他為栽到大宛這個小國手里而感到恥辱，因而決心報複。
漢武帝按住心中的怒火，召來群臣商議報複計劃。曾經出使過大宛的姚定漢說：“大宛的兵力並不強，皇上只要派出三千人馬，多帶些弓箭，就一定能把大宛打下來。”
漢武帝一想，上次派趙破奴進攻樓蘭，他僅僅用了七百名騎兵，就把樓蘭王生擒活捉了。這次三千騎兵一定能對付得了大宛的。
在這次西征將領的人選上，漢武帝有自己的一套主意。這時候大將軍衛青、驃騎將軍霍去病都已經死了。這次出師必捷的大功一定要派給一個自己寵愛的人去才行。漢武帝首先想到的是他的一個寵姬李夫人的哥哥李廣利。
漢武帝拜李廣利為將軍，並指定他一定要把貳師城里的良馬給搶回來。為此，漢武帝又封李廣利為貳師將軍。
漢武帝為了能讓李廣利穩立大功，就給了貳師將軍李廣利六千精兵，另外還有幾萬步兵。王恢對于西域了如指掌，漢武帝派他協助貳師將軍立功，在前面為西征軍帶路。漢武帝另外派趙始成為軍正，李哆為校尉，作為軍隊的實際責任的負責者。
公元前104年，貳師將軍李廣利裝備妥當，揮師西進。這一年，漢朝鬧起了蝗災，蝗蟲飛舞，像是天上的烏云一樣遮天蔽日。蝗蟲吃完了關東的莊稼，有的也往西飛到了敦煌。
貳師將軍率領漢軍把蝗蟲拋在了後面，他們出了玉門關，艱難跋涉在鹽澤和沙漠地帶，人馬越來越疲乏，有的倒在了半路上。
沿路的小國都害怕得罪匈奴，他們便聯合起來抵制漢軍，不給他們供應糧草。他們據城堡固守，漢軍能攻下來的就有飯吃，不能攻下來的，只好休整幾天繞道離開。漢兵沿途受凍挨餓，又沒有足夠的飲水，不斷有人倒在行進的路上，再也不能起來。
等到貳師將軍領著疲憊不堪的漢軍到達郁成的時候，李廣利清點了一下人數，發現只剩下幾千人了。而且剩下的人也是饑餓疲乏，毫無斗志。
郁成王上次殺了漢使車令，早就作好了防備漢軍的准備，他以逸待勞，沒費吹灰之力把貳師將軍打得一敗塗地，漢軍又損失了一半人馬。
好不容易才穩住陣腳，貳師將軍和李哆、趙始成等人商議說：“我們就連郁成都攻不下來，怎麼又能攻到大宛的王城呢?”他們也覺得不宜再戰，貳師將軍李廣利無計可施，只好帶著人馬踏上了回國的路程。
貳師將軍從出玉門關，到退回漢境看見敦煌的亭障，這一去一回，整整用去了他們兩年的時間。到了敦煌郡，貳師將軍發現手下士兵活著回來的不到十分之一，自己也覺得異常的淒慘。
貳師將軍李廣利派遣使者給漢武帝上了一個奏章說：“臣這次出征因路途遙遠，十分缺乏糧食。士兵們都不怕打仗，但就怕挨餓。現在人員損失嚴重，不能夠進攻大宛國，還是暫時退步，等以後多派人馬再去征討。”
漢武帝看完奏章，拍案大怒，他倒不是為損失這麼多士兵生氣，是覺得攻不下大宛國，自己臉上實在無光。大漢帝國連一個大宛國都制服不了，又怎樣對付北邊的強鄰匈奴人呢?這不是讓這些小國恥笑嗎?
漢武帝馬上派出使者趕到玉門關，攔阻李廣利進關。使者傳下漢武帝的命令：“有軍人膽敢入關的，立斬之。”貳師將軍知道詔令難違，心中恐懼，只好在敦煌暫時留駐下來。
禍不單行，浞野侯趙破奴領著兩萬士兵被匈奴人包圍，一半被殺，一半投降，這事激起了漢朝高級官員們的憤怒情緒，他們都希望停罷攻打大宛的軍隊，專力對付匈奴。