雍正四年（1726），曹負責操辦的緞匹衣料質量"粗糙輕薄"，受到賠償並罰掉一年俸祿的處分。不久，雍正穿的石青緞褂褪色，經查又是江甯織造的產品，結果又罰掉曹一年的俸祿。曹一次又一次地失職，導致了雍正對他越來越不滿和失望。
雍正並沒有就此將曹問罪，決定將他召回北京當面考察和訓誡。雍正五年五月傳旨，命蘇州織造高斌不必回京，他所督運的緞匹由曹送來。不料曹在督運織造緞匹的途中，又在山東長清縣等處勒索費用，騷擾驛站，終于招致雍正"龍顏大怒".十二月初四，雍正下令將曹等交由內務府和吏部嚴審。
在曹被撤職受審的時候，雍正又得知曹轉移財物，企圖隱蔽，于是新罪舊賬一齊算，雍正五年《內務府滿文上傳檔》記載：十二月二十四日傳旨查封曹家產。他命令江南總督范時繹，將曹家中財物封存看守，並將重要家人立即捉拿。
范時繹接到諭旨，立即將曹的管家數人拿下，關押審訊，所有房產財物一並查清，造冊封存。第二年二月，新上任的江甯織造隋赫德將曹江南家產人口查明接收，曹在京城的家產人口，也由內務府全部查封。六月，騷擾山東驛站案審結，判曹賠銀四百四十三兩二錢，由內務府負責催討，並將曹戴上木枷示眾。
雍正六年初夏，曹雪芹隨同祖母、母親等全家老少，由南京回到北京，住在崇文門外曹家舊宅，開始了窮困潦倒的悲涼生活。這一年，曹雪芹剛18歲。
曹雪芹從赫赫揚揚的官宦世家，墜入"繩床瓦灶"的地步，特別是由于他親身經曆了家庭的衰敗破產，這一急劇的轉折，對曹雪芹來說甚為痛苦。如果曹家不是這樣的結局，曹雪芹沒有這樣的經曆，那麼，很可能也就沒有世界名著《紅樓夢》。
影射
《紅樓夢》寫的是誰的故事
賈寶玉，林黛玉，薛寶釵……以賈府為中心的上上下下的人物個個都個性鮮明，甚至連劉姥姥這個形象都鮮活得欲透出紙背。他們是作者曹雪芹憑空杜撰的嗎？還是影射了些什麼人？亦或是包藏了什麼信念？人們揣測著，疑惑著，爭論著。
民國初年，一部署名蘭上星白的《紅樓夢人物譜》的書出現了。這位作者對《紅樓夢》的人物仔細地理了一下，精確地說出了里面出現的人物數：總收人數721人，還提到了古代帝王23人，古人115人，後妃18人，列女22人，仙女24人，神佛47人，故事人物13人，共262人，這兩類加起來有983人。這麼多的人物，讓每個人物都形象清晰，著實是一件難事，更難的是還要用他們來婉轉地表達些什麼。難怪現代很多人說，讀"紅樓"讀了這麼多遍，還是沒看懂。