大凡開國帝王，都會有不同于常人的傳奇，人們由此對他們“真命天子”的身份確信不疑，趙構也不例外。南宋民間流傳著“泥馬渡康王”的故事，其主人公就是趙構。故事情節十分簡單，但卻有兩個不同的版本。
一說北宋末年，時為康王的趙構赴金營為人質，金兵押其北上，途中趙構脫逃，逃至磁州時，夜宿崔府君廟，夢神人告知金兵將至，趙構驚醒，見廟外已備有馬匹，遂乘馬狂奔。這匹馬居然載著趙構渡過黃河，過河後即化為泥塑之馬。
趙構赴金營為人質，曆史上確有其事。靖康元年正月，金兵已經攻至開封城下，宋廷向金求和，金人要求以親王、宰相為人質，方可退兵。欽宗命康王趙構前往金營。接下來的事情就與傳說的內容完全不一樣了。在金營被軟禁了20余天後，幸運降臨到了趙構的頭上。金人不知出于什麼原因，懷疑趙構不是親王，將其遣返，而不是像故事中那樣，押著趙構北上，所以趙構根本無須逃跑。欽宗只好命肅王趙樞代替趙構，赴金營為人質。在欽宗答應割地、賠款等要求後，金人暫時撤軍，肅王卻沒有被放還，而是被擄北去，當了趙構的替死鬼。
另一說為南宋初年，趙構已經即位，朝廷遷到揚州，金兵大舉南下，前鋒即將攻到揚州城下，趙構事先沒有得到戰報，此時聞訊，連夜倉皇出逃。他怕追兵趕上，藏匿在江邊神祠內，月光下忽然發現祠中泥塑馬動了起來，于是乘騎此馬渡過長江，逃到了杭州。
和前一個版本相比，後一個版本的真實成分似乎更大一些，除了緊扣故事主題的“泥馬渡江情”節外，其他情節都有據可查。靖康二年五月一日，趙構在應天府登基，建立了南宋政權，是為宋高宗。金人得知趙構重建趙氏政權，馬上開始了新一輪的南侵，目的是要趁趙構立足未穩，將其一舉消滅。高宗建炎元年（1127）秋，金朝分兵攻宋。高宗內心惟恐重蹈靖康之變的覆轍，不顧主戰派大臣和將領們的反對，于十月將朝廷遷至揚州。建炎三年二月，宗翰派兵奔襲揚州，攻陷天長，前鋒距離揚州城僅有數十里。高宗此時正在後宮尋歡作樂，乍聞戰報，慌忙帶領少數隨從乘馬出城，急馳至瓜洲渡江逃跑。這次突如其來的驚嚇也給趙構留下了嚴重的後遺症，他從此失去了生育能力。
宋代樓船其實，這兩個版本的內容大同小異，只是在故事發生的地點和時間上出現了分歧，前者在北，後者在南；前者為即位前，後者為即位後。傳說固然都是些杜撰附會，甚至是無稽之談，然而，在某種程度上也能反映出曆史的真實。“泥馬渡江”故事的地域和時間跨度，正顯示出趙構在北宋末南宋初的這段時期內從北到南、顛沛流離的逃亡生活。即位前，在河北的逃跑途中，趙構和大臣在寒冷的曠野中燒柴溫飯，一起在茅舍下就食。即位不久，又發生兵變。扈從保駕的禦營司將領苗傅、劉正彥等人因不滿宦官的胡作非為，包圍行宮，誅殺宦官，脅迫高宗讓位于年僅三歲的皇子趙旉，由哲宗孟皇後垂簾聽政，改元明受。兵變曆時兩月，後由韓世忠起兵平叛，高宗複辟。僅僅過了半年，金兵突破了長江防線，直撲宋廷所在地杭州而來。高宗退無可退，只得入海避敵，在溫州沿海漂泊了4個月之久。前有惡浪，後有追兵，衣食物資也無法及時得到供給，南宋君臣的窘迫之狀可想而知。一次，高宗饑餓難耐，命令停船靠岸，自己步行到一所寺院索食，僧人不及准備，只好以5枚炊餅進獻，趙構居然連吃了三枚半，原本養尊處優的他方才真切地體味到饑寒交迫的感受。
但是這一切似乎並未磨礪出趙構堅韌的意志，也沒有激發起他的斗志；恰恰相反，曾經在金營作人質的經曆，讓趙構親眼目睹了金兵的強悍和凶殘，每當想起，他還心有余悸。他拋棄了父兄被擄、國土淪陷的國仇家恨和中原浴血奮戰的軍民，甯可忍受道路風霜，只為保全自己的身家性命。在逃跑途中，高宗還時時不忘向金人乞和，他一再派出使者前往金營，在國書中竟然自稱“康王”，說自己未得金朝允許黃天蕩之役就登基稱帝，實為大錯，現在甘願放棄帝位，向金朝稱臣。卑躬屈膝、搖尾乞憐之態躍然紙上。高宗的哀求根本阻擋不了金兵繼續南下，倒是南宋廣大軍民的奮起抵抗，使金兵屢遭挫敗，加上江南氣候潮濕，河道密布，不利于金朝騎兵作戰，金軍主帥完顏兀術決定撤兵。金兵北撤途中，遭到南宋軍民的不斷攻擊。撤至鎮江時，宋將韓世忠率水師截斷了金兵的歸路，將其逼入建康東北70里處的黃天蕩，宋軍以8000人的兵力包圍10萬金兵。雙方相持48天，金兵屢次突圍均告失敗，最後用火攻才打開缺口，得以撤退。兀術大軍剛逃出了韓世忠的包圍，抵達建康，又遭遇岳飛所部阻擊，又被打敗，岳飛收複建康。金軍此後再也不敢渡江。
建炎四年四月，高宗在海上獲悉金兵北撤，才從溫州經明州回到越州。越州地理位置偏僻，漕運很不方便，南宋朝廷的大批官員、軍隊集中此地，物資供應無法得到保證。相比之下，高宗對逃難時曾經停留過的臨安（杭州）念念不忘。那里交通方便，江河湖泊交錯，金人的騎兵無法馳騁，大大增加了高宗的安全感；又地處魚米之鄉，物產豐富，基本可以滿足南宋朝廷的需要；而且自唐、五代以來，杭州經過了長期的開發建設，已經一躍成為繁華秀麗的“東南第一州”，它對于剛剛飽經流離之苦、熱切渴望安逸生活的高宗來說，無疑具有巨大的吸引力。紹興二年（1132），高宗遷都杭州，南宋朝廷終于獲得了喘息之機，初步在東南站穩了腳跟。