然而，就在這繁華的背後，已是潛伏著危機。由于曹寅的日用排場，應酬送禮，特別是康熙四次南巡的接駕等等，在經濟上造成了巨額的虧空。可以說，曹寅已經給曹家種下了衰敗的禍根。
眼看他房坍了
康熙四十八年（1709）十二月初六，時任兩江總督的噶禮參奏曹寅，密報康熙說，曹寅和李煦虧欠兩淮鹽課銀三百萬兩，請求公開彈劾他。康熙把曹寅看成是"家人"，噶禮要求公開彈劾，康熙當然不會批准。但事關重大，康熙不得不私下諄諄告誡曹寅和他的大舅子李煦，必須設法補上虧空。
曹寅面對茫茫債海，已經無法彌補，也沒有能力挽回局面。康熙五十一年（1712）七月，一病不起，死在揚州。李煦奏折上說：彌留之際，核算出虧空庫銀23萬兩，而且曹寅已經沒有資產可以補上。
曹寅死後，康熙為保全曹家的家產免遭搬遷的損毀，特命曹寅之子曹颙繼任江甯織造；兩年後曹颙病故，康熙又親自主持將曹寅的四侄曹過繼過來，接任了江甯織造的職務。同時康熙又讓曹寅的大舅子蘇州織造李煦代管兩淮鹽差一年，用所得的銀子補齊曹寅生前的虧空。
康熙五十四年（1715），又查出曹寅生前虧空織造庫銀三十七萬三千兩。
康熙只好再次做安排，讓兩淮鹽政李陳常和李煦代為補還。到了康熙五十六年，才總算把這筆賬補上。
康熙照顧曹家，是看在曹璽和曹寅的情分，到了曹這一輩，就疏遠、淡漠了許多。康熙曾經明確地對曹說："念爾父出力年久，故特恩至此。"康熙六十一年，因李煦、曹拖欠賣人參的銀兩，內務府奏請康熙，嚴令李煦、曹將拖欠的銀兩必須在年底之前交清，否則就嚴加懲處，康熙當即就批准了。顯然，這與康熙以前對曹寅的態度，已是截然不同了。
雍正上台以後，接連頒布諭旨，開始在全國上下大張旗鼓地清查錢糧，追補虧空。他一再表示，我不能再像父皇那樣寬容了，凡虧空錢糧的官員，一經揭發，立刻革職。
僅雍正元年，被革職抄家的各級官吏就達數十人，與曹家既是親戚又患難與共的蘇州織造李煦，也因虧空獲罪，被革職抄家。
但一開始雍正並沒有把曹家與李煦一起治罪，而是允許他將虧空分三年還完。曹自身的虧空尚未補完，又增加了曹寅遺留的虧空，只好多方求人托人。雍正為防止有人嚇唬敲詐曹，特地在曹的請安折上寫了嚴詞批語：亂跑門路，交結他人，只能拖累自己，瞎費心思力氣買禍受；主意要拿定，安分守己，不要亂來，否則壞朕名聲，就要重重處分，怡親王也救不了你！
雍正皇帝的這個朱批特諭表明，雖然他對曹"亂跑門路"是十分不滿的，但是雍正對曹的好意體恤、親密關懷還是讀得出來的。