當時朝有正臣，對魏忠賢的勢力逐漸膨脹多感不安，但用人之權在皇帝手里，熹宗唯婦人之言是聽，所以驅逐客氏為去邪的第一要著。在皇帝大婚前，言官請逐客氏，熹宗答應在光宗下葬後辦理，原是客氏與魏忠賢的緩兵之計；到了九月，光宗慶陵告成，奉安事畢，大學士劉一燝奏申前請，熹宗迫不得已，只好讓客氏出宮回家。按：在明朝，北平城內地名分為坊、鋪、胡同與街，據《酌中志》，客氏家住正義街，不知在哪一坊，相傳北平西城的豐盛胡同原名奉聖胡同，即以客氏而得名。
客氏一出宮，據《明史》記載：熹宗“思念流涕，至日旰不禦食，遂宣諭複入”。此事與唐明皇生楊貴妃的氣，把她遣回娘家，結果食咽不下，非召楊貴妃入侍不可，其事如出一轍。星相書上有“墓庫運”之說，杭州人稱惑于女色而荒廢正業者為“墓庫”，晚年的唐明皇是“老墓庫”，而熹宗是“小墓庫”；老墓庫不過失去皇位，小墓庫則失掉皇朝——明朝最後一個可望延長國祚的機會，就在小墓庫這一把眼淚鼻涕中斷送掉了。
這話怎麼說呢？因為熹宗如無客氏，腦筋還是相當清楚的。舉個例說，他對劉一燝他們這班正色立朝的輔臣是相當敬重的，如無客氏的蠱惑，魏忠賢心存忌憚，還不敢過分胡作非為。而在外廷的正人君子要取得熹宗的信任，必先逐去客氏，把魏忠賢孤立起來，然後才可以裁抑他的勢力。于今所謀落空，要制服魏忠賢就很難了。
客氏的出而複入，比一直不曾出宮還要壞。因為一直不出宮，究不知“聖意”如何，也許天威不測，有一天會生劇變，則客、魏不得不有所顧忌，不得不加收斂；但經過這一次的測驗，熹宗的感情狀態固已深切明了，而外廷群臣的正論畢竟不能對抗皇帝的權力，這一點亦已彰明較著，如是客、魏及其黨羽便得到了一個有力的啟示，也找到了一條“正確”的路線：只要維系住熹宗的感情，什麼事都可做，不必怕！
當然，有人對此事要說話，第一個是給事中侯震旸，他說：“徘徊眷注，稍遲出入，猶可言也；出而再入，不可言也。幺麼里婦，何堪數昵至尊？”