徽宗一行分乘860余輛牛車，由彼此語言不通的胡人駕車，一路淒淒惶惶，受盡屈辱折磨。靖康二年四月五日，徽宗見到韋賢妃（趙構母）等人乘馬先行而去，竟不敢吱聲，不覺五髒俱裂，潸（shān）然淚下。四月七日，徽宗妃嬪曹才人如廁時，被金兵乘機奸汙。八日，抵達相州時，適逢大雨不斷，車皆滲漏，宮女到金兵帳中避雨時又被金兵奸淫，死者甚多，徽宗長籲短歎，卻無可奈何。北上途中食物匱乏，又連日風雨大作，宋俘餓殍滿地，慘不忍睹。
欽宗出發時，被迫頭戴氈笠，身穿青布衣，騎著黑馬，由金人隨押，一副失魂落魄的樣子，不但受盡旅途風霜之苦，還備受金軍的侮辱。欽宗時時仰天號泣，輒被呵止。日暮宿營時，金兵“縶（zhi）帝及祁王、太子、內人手足並臥”，以防逃跑。四月十日，自鞏縣渡黃河，駕車的人對隨行的同知樞密院事張叔夜說，將過界河，張叔夜悲憤難抑，仰天大呼，扼吭而死。五月下旬，過太和嶺時，欽宗等人都被縛在馬背上。七月二十日，徽宗、欽宗在燕京相見，父子抱頭痛哭，悲憤不已。徽宗原以為生活可以就此安定，不料九月，金人又將徽宗父子遷往更遠的上京，因為南宋勢力漸強，金人怕他們奪回徽宗父子，而在同南宋的交涉中失去討價還價的籌碼。這樣，徽宗父子不得不再次承受顛沛流離之苦。
建炎二年（1128）八月，徽、欽二帝抵達上京，金人命他們身穿孝服拜祭阿骨打廟，這被稱為獻俘儀，實際上是以此羞辱北宋君臣。然後，又逼著他們父子到乾元殿拜見金太宗。接著，金太宗封徽宗為昏德公，欽宗為昏德侯。這也是中原皇帝玩過的把戲，隋文帝滅陳，封陳叔寶為長城公；宋太祖滅南唐，封李煜為違命侯。此外，韋賢妃以下300余人入洗衣院，朱皇後不堪受辱，投水而死，男子則被編入兵籍。
不久，金人又將徽、欽二帝趕至荒涼偏僻的邊陲小鎮——五國城，他們從此就居住于此，直至去世。生活稍稍安定後，徽宗又有了讀書寫詩的雅興。徽宗喜好讀書，有時竟到廢寢忘食的地步。有一次，他讀了唐代李泌（bi）的傳記後，知道李泌為國盡忠，複興社稷，後被奸佞嫉恨。徽宗讀後感觸頗深，並令大臣抄寫一份，賜給韋賢妃。然而，徽宗對這一切醒悟得太遲了。
在五國城期間，徽宗還與欽宗在宴會上飲酒賦詩，自然是寄厚望于欽宗。徽宗平生愛好寫詩，再加上做囚徒的傷感，也流溢于詩詞之中。被流放期間，徽宗寫詩較多，但流傳下來的僅有十幾首。其中，《在北題壁》流傳最廣：
徹夜西風撼破扉，蕭條孤館一燈微。
家山回首三千里，目斷天南無雁飛。
欽宗像孤獨、淒涼之感躍然紙上。
徽宗在五國城生活了三年，紹興五年（1135）病死。欽宗異常悲痛，身心受到沉重打擊。紹興十二年（1142）三月，宋金關系有所緩和，韋賢妃由五國城歸宋。她離開時，欽宗挽住她的車輪，請她轉告高宗，若能歸宋，自己當一太乙宮主足矣。高宗擔心其兄回來後威脅自己的帝位，表面上高喊迎回徽、欽二帝，內心卻巴不得他們客死異地，因而他終生都在與金人議和，根本無心恢複中原。
紹興二十六年（1156）六月，57歲的欽宗病死。然而，直到紹興三十一年（1161）欽宗死訊才傳到南宋。高宗表面上痛不欲生，內心卻暗自高興。七月，上諡號“恭文順德仁孝皇帝”，廟號欽宗。