這時候的張騫對外界情況略有所知，他心中頗為緊張。而匈奴人一心關心邊境戰爭，也無人顧及張騫，只是加強了對他的監視。單于看到張騫已經成家生子，也就沒有殺掉他。
張騫又眼巴巴地等了幾年，他心里一直為沒能完成使命而焦急，但有匈奴人的嚴密監視，張騫又不敢輕舉妄動，他心里默算著，他被困居在匈奴已有十個年頭了。這時候張騫已經從外表上看不出和匈奴人有什麼兩樣了，日常生活也比以前自由了許多。
盡管張騫在匈奴生活挺安定，其實內心里一直在尋找一個逃跑的機會。他暗地里召集他的手下，商議逃跑的計劃。在一個深夜里，他們偷出了匈奴人的馬匹，趁著匈奴人沒有注意他們，快馬加鞭，向西逃去。因為匈奴人讓他們居住在匈奴的西部，這樣，正好縮短了去西邊的路程。這些人雖然不知道月氏國到底在哪，但他們也抱著一個信條，只要往西去，一定錯不了。他們跑了幾十天，吃盡千辛萬苦，終于逃出了匈奴地界。
張騫攔住一個過路人一打聽，原來前面並不是月氏國，他們闖到了大宛國的境內來了。但總算逃出匈奴的牢籠，他們都松了口氣。
大宛國在月氏的北面，是西域列國之中的一塊寶地，出產快馬、苜蓿和葡萄。大宛是匈奴的鄰國，所以國人會說匈奴語。張騫就和大宛國的士兵講明白是漢朝的使節。
大宛王早就聽說在遙遠的東方有個漢帝國，地方很富庶，聽從匈奴那邊過來的人講，漢朝的金銀財寶，綢緞布帛多得用不完。大宛王十分羨慕這個富庶的大國，一心想交結，只是苦于路程太遠，加上中間有匈奴的阻隔，沒有辦法往來，
大宛王聽了衛兵的報告，非常高興。馬上召見了遠方的來使，表示了熱情的歡迎。
張騫持漢節恭敬地對大宛王說：“我們是奉大漢皇帝的詔令前往月氏國通好的使者，現在途經貴國。如果大王能夠派人送我們去月氏，將來回到中原，我們的皇上一定會感激大王的美意，會拿最好的禮物來答謝。”大宛王一聽事情好辦又有利可圖，馬上一口答應下來。他為了表示誠意，就對張騫說：“從這到月氏還要經過康居國。康居人和月氏人語言相同，但你們可聽不懂，我派一個能說月氏話的人給你們做翻譯吧。”
張騫一行辭謝了大宛王，在大宛國的軍隊護送下，出了大宛進入康居境內。康居和大宛素來相好，又有大宛王的介紹，康居王對張騫一行十分熱情，也派人護送他們到了月氏。
不想張騫一行人的滿腔喜悅，迎頭卻讓月氏人澆上了一盆涼水。
原來月氏國被匈奴攻破以後，大部分月氏人向西遷移，只有小部分人留在故地。西遷的月氏人進攻大夏國，占領了大夏的大部分土地，並使大夏臣服。西遷的這支叫大月氏，留在故地的是小月氏。張騫所聯系的是大月氏國。
大月氏國占領的新領地十分肥沃，物產豐饒，大月氏人十分滿意新的居住地，又沒有匈奴人的騷擾，日子過得挺愜意。所以根本也沒有收複失地的想法了。聽了張騫的來意，正當權的一位大月氏女王只是推說：“漢朝離我們太遠了，只怕匈奴人再打過來，漢朝也無法救助。”于是她不願意和漢朝結成反匈奴的聯盟。
張騫一行還不死心，又在月氏國住了一年，等待大月氏女王回心轉意。而大月氏人報仇的念頭已經被舒適的生活沖得干乾淨淨，他們對于再與匈奴打仗不感興趣，但對張騫他們還是比較客氣，當做一個大國的使者，挺有禮貌地招待著他們。
張騫在月氏國活動了一年，也沒有結果，知道聯合大月氏夾擊匈奴的計劃已經完全不行了。他拜見了大月氏王，提出了回國的請求，大月氏王也沒有挽留。張騫一行悻悻地踏上歸程。
返回漢朝還要從匈奴國中經過。張騫等人害怕再次被匈奴抓住，就從南道繞道回國，他們沿著祁連山南麓潛行，准備從羌族部落之間穿過去，這樣可以避免從匈奴境內通過。
正當張騫等人快到羌族部落時，卻又遇到了四處掠劫的匈奴兵，又成了匈奴人的階下囚。匈奴人又把他們送回原看押地。