有一次，有人拿來南唐著名畫家徐熙的一幅《牡丹圖》，向夫妻倆兜售，要價二十萬。二十萬對于王公貴族富商大賈而言或許算不得什麼，但是對于趙明誠這樣每月僅一萬多錢俸祿的七八品小官而言，相當于他兩年的薪俸所得，這絕非他們所能負擔。雖無力購買，卻又心有不舍，夫妻倆將這幅畫留置在家中欣賞了兩個晚上，最終還是無奈地歸還給賣主。為這件事情，兩人在家相對感歎了數日。李清照也將此事記載于《〈金石錄〉後序》："嘗記崇甯間，有人持徐熙《牡丹圖》求錢二十萬。當時雖貴家子弟，求二十萬錢豈易得耶？留信宿，計無所出而還之。夫婦相向惋悵者數日。"
李清照在晚年的回憶中說，那時雖然他們需靠典當衣物等才能有余錢購置文物，但他們兩人的生活卻好似"葛天氏之民"，單純而快樂。葛天氏是上古部落傳說中的酋長，相傳他們部落的老百姓純真樸實，悠閑自在，李清照用葛天氏之民比喻他們夫妻清寒淡泊卻非常高雅脫俗的生活。當然能夠共享這種高雅脫俗生活的人，彼此間須得有共同的愛好與志趣，正所謂：人生得一知己足矣，夫複何求？這也許才是甜蜜幸福生活的真正內涵吧！
正當他們沉醉于兩人甜蜜而與世無爭、自得其樂的安甯生活的時候，誰也沒料到，他們人生當中的第一個重大變故即將來臨！這個變故與他們兩人的父親間嚴重對立、水火不容的政治立場有直接關系。這種對立的政治立場，就像一顆定時炸彈，時間一到即會爆炸，爆炸之時不僅傷害到自己，也會牽連到家人。
禍福相依浮槎來去
埋藏在平靜生活下的定時炸彈引爆時間已到，所有相關的人都將受到波及。
政治上一直堅持平衡黨派關系的宋徽宗，受到新黨領袖蔡京的影響，決定再次全面推行新法，並將蔡京提拔為宰相："徽宗有意修熙、豐政事，……徽宗遂決意用京。忠彥罷，拜尚書左丞，俄代曾布為右仆射。"（《宋史·蔡京傳》）趙挺之是蔡京堅定的支持者與追隨者，在蔡京的鼎力推薦下，趙挺之青云直上，被提升為副宰相，後來又很快提升為宰相，位極人臣。新黨勢力一上台，就開始打擊反對新法的舊黨人物，特別是在宋哲宗元祐年間得勢的舊黨人物及其門人弟子。
如此一來，李清照之父李格非就受到牽連，他以文章受知于蘇軾，與許多蘇門弟子交往深厚，政治立場雖不似蘇軾等人那樣與新黨人物涇渭分明，有直接的政治斗爭，但是他屬于舊黨、尤其是蘇門一派卻是不爭的事實。宋徽宗崇甯元年（1102），其時蘇軾已去世一年，蘇轍也已完全退居河南許昌，但是蔡京等人對舊黨的打擊卻並沒有絲毫的減退。對此，《宋史·徽宗本紀》中有著相關的記載：