歲月無情，衛皇後也迅速地衰老了，往日濃密的秀發青絲也脫落了不少，她對漢武帝來說已沒有吸引力了。
皇太子劉據一天天長大，他仁慈敦厚、溫柔謹慎，在他身上體現出其祖父和曾祖父的一些影子。漢武帝卻認為他不夠凌厲，缺少魄力，不像自己的性格。因而他對于衛皇後和太子劉據的寵愛熱度一天天降了下來。衛子夫和劉據母子二人日益感到不安。
漢武帝也察覺到衛子夫母子的驚恐，當時大將軍衛青還健在，漢武帝就找個機會對他說：“因為國家剛剛建立六七十年時間，一切都沒有定型。加上四面外族侵略不已，朕不得不改變傳統的無為而治政策。如果不出動軍隊平定四夷的話，大漢朝就不能得到安甯。為了這些原因，所以不得不使天下人受勞受苦。”
衛青聽了之後表示理解，他回答說：“陛下四面興師，開拓疆域，也是為了江山社稷的長治久安。臣民有所勞苦，那也是義不容辭的事。”
漢武帝止住了衛青的話頭，說道：“假定後世都像朕這樣去做，那必定要走上秦王朝亡國的老路上去。太子劉據穩重安詳，必定能夠使天下太平，所以不讓朕擔慮。如果要找一個守成的人主，有誰能比太子劉據更賢明呢?朕聽說太子和皇後他們母子心情不安，認為朕不再寵愛他們了，其實哪有這回事?請將朕的意思曉諭皇後和太子。”
衛青聽了半天，才明白過來是為了宮中儲位的事。他馬上叩頭謝恩，答應回去轉諭太子和皇後二人。
衛子夫皇後聽到老弟衛青轉告的話，也為自己的不當疑懼而慚愧。她和太子劉據一起向漢武帝請罪，雙方消除了隔閡。
漢武帝執行酷吏政治，刑罰嚴苛，因而制造了不少冤獄，株連許多無辜。太子劉據仁厚恭慈，很看不慣父皇的做法，常常趁著與父皇見面的機會，勸告父親不要重用酷吏，應該施行德教。
衛子夫很為太子擔心，告誡他少過問朝政，以免引起父皇的反感，影響到儲位，又怕酷吏們報複，給太子構陷罪名。
每當軍隊准備出動時，太子劉據總是向漢武帝提出勸阻，讓他不要征討四夷興師動眾、勞民傷財。漢武帝不願和他辯論，只是笑著拍一拍他的肩頭說：“由朕來承擔艱苦，將來由你來享福，難道不好嗎?”太子劉據心中不同意，但也無話可說。
元狩五年(公元前117年)霍去病英年早逝。元封五年(公元前106年)衛青也辭世而去，漢武帝少了兩員大將，而衛後和太子劉據則失去了主要的支柱。
最初，政府官員中寬厚仁慈的人都依附太子劉據。而那些用法殘苛的酷吏，則對劉據百般詆毀。寬厚仁慈的官員們畏懼權勢，怕自身難保，因此不敢出頭露面，而殘苛的酷吏們卻結成一黨。于是劉據在輿論上是毀多譽少。等到衛青一死，那些酷吏們不再顧慮皇親的報複，遂共同對付太子劉據。
漢武帝與皇子們十分疏遠，貴為皇後的衛子夫自從失寵之後，也很難見到他的面。漢武帝與皇後和太子之間的隔膜，為一些人搬弄是非創造了可乘之機。
有一天，太子劉據進宮探望母親衛皇後。母子二人談得高興，不覺已到日暮。太子一看時辰不早，忙匆匆起身告辭，這事卻讓黃門蘇文看在眼里。
第二天，黃門蘇文就向漢武帝報告說：“太子昨天在皇後宮里很久才出來，可能與宮女們有奸情。”漢武帝不置可否，只是下令將太子宮中的宮女，增加到二百人。
太子劉據覺得不對勁，他忙托人打聽，這才知道是蘇文進讒所致。劉據對蘇文恨之入骨，自己辦事更加謹小慎微。
蘇文和小黃門常融、王弼等人都是漢武帝的貼身宦官，他們一直偵察太子劉據的過失，動不動就向漢武帝告密。
衛子夫知道這件事之後，切齒痛恨，屢次勸太子劉據向漢武帝說明冤枉，請將這些讒言小人處死。
太子劉據生性謙和，他惟恐漢武帝煩擾，不想追究這些事了。他對母後說：“只要兒無過錯，何懼蘇文進讒，父皇睿智，不會輕信讒言的，母後不必擔心。”衛子夫見說服不了兒子，只有讓他處處留心。