過了一年多時間，匈奴國中大亂，伊稚斜和於單叔侄二人為爭奪匈奴單于位置大打出手。趁著這般亂勁，張騫領著匈奴妻子和堂邑父從匈奴國中逃了出來，吃盡千辛萬苦，終于回到漢朝。
在逃回途中，多虧堂邑父的一把弓箭，射獵野味權以充饑。這樣，張騫原來帶了一百多位勇士出使，在外面整整度過了十三個春秋，最後只剩下他和堂邑父兩人回來，其他人有的殉職，有的不知所終。
漢武帝熱烈歡迎張騫和堂邑父的歸來。他想不到去國十三載、杳無音訊的使者張騫又回來了。他饒有興趣地聽張騫談論大宛、康居、大月氏和大夏的情況，以及張騫所說的有關安息、條支、身毒等國的趣聞。漢武帝大開眼界，這才知道，在漢朝以外，除了周圍的蠻夷世界，還有那麼多文明的種族和充滿異國情調的國家。張騫這次出使西域，雖然沒有達到聯絡大月氏的目的，但使漢武帝第一次了解了西域的許多地理、風俗、物產、政治和軍事情況，這也是一個了不起的收獲。
由于張騫等人立下大功，漢武帝封張騫為太中大夫，封堂邑父為奉使君，以表彰他們出使西域和勇于探險的精神。
張騫回國後，受到漢武帝的賞識。不久，漢匈之間又爆發了較大規模的沖突。張騫因為在匈奴生活了十多年，熟悉匈奴境內的地形和水草的分布。漢武帝就命令他隨同大將軍衛青一同北擊匈奴。
張騫熟悉匈奴的情況，這次出兵，全靠他在前面領路，人馬才不至于受渴挨餓。衛青單獨地向漢武帝奏明了張騫的功勞，漢武帝馬上封張騫為博望侯。
張騫後來在對匈奴戰爭中因為誤時被奪去了侯位，被貶為庶人，但漢武帝還是常常召見他到宮中，詢問有關西域的事。
西域各國原先飽受匈奴人的欺壓，看到漢朝把匈奴人打敗了，他們就開始動搖了對匈奴的畏懼感。一等到匈奴退到漠北，失了勢，有的國家就准備不再向匈奴人進貢。
漢武帝看到去西域的道路已經打通，而且聽說西域小國都有與漢通好的願望就准備派張騫第二次出使西域，宣揚漢朝的國威。
張騫聽說漢武帝再派他去西域，求之不得。他先向漢武帝提供了這次出使的大略意義。張騫說：“在匈奴人的西邊有個烏孫國(新疆溫宿縣以北、伊甯縣以南的地區)，也受匈奴壓制的。烏孫王國的國王昆莫本來是匈奴汗國的藩屬，後來逐漸強盛起來，不肯再接受匈奴人的支配。匈奴人屢次進攻都不能得手，因而舍它而去。而今，匈奴受到了大漢的重創，而故渾邪王居住的地區已成真空。這里本是烏孫王國的故土，後來被月氏人趕到西邊。少數民族的習俗是依戀舊居，又貪圖中國賞賜的財物。如果趁著這個機會，用厚重的禮物去誘惑他們，請他們重返故土，與大漢結盟；成為友邦，勢將聽從大漢，那樣的話，無疑是切斷了匈奴汗國的右臂。而且只要烏孫一歸附，那樣烏孫以西的小國，和大宛、康居、大月氏等國就更容易結交了。”
漢武帝一聽到有這麼多國家都能內附，而且可以聯合起來對付匈奴，覺得就是多送些金錢禮物也值得一試。
漢武帝贊成了張騫的看法，立即恢複其政治地位，讓張騫做了中郎將一職，再一次出使西域。
元鼎二年(公元前115年)，荒涼的河西走廊出現了一支龐大的漢朝使者隊伍。喧鬧的人聲、馬鈴聲和牲畜的叫聲響徹塞外原野，人群一直緩緩向西流去。
張騫和他的幾個副手走在隊伍的前面，他們手持漢節，神色莊嚴，後面緊跟著三百名勇士，每人兩匹馬，一個騎人，一個載物，後面還有牛、羊一萬多頭，以及載滿黃金、錢幣、綢緞和布帛等價值幾千萬的禮物的車隊。他們之中有許多人是持有漢節的副使，以便到西域後可分頭出使各小國。
龐大的漢朝使團的第一站就是烏孫王國，他們一路沒有遇到匈奴人的騷擾，到了烏孫國。烏孫王驚訝地迎接了這個龐大的使團。張騫代表漢武帝送給烏孫王很厚重的禮物，烏孫王更加驚喜，他狐疑不解地想聽漢使有什麼要求。