我的來龍去脈，大家都知道，一個陝北，一個東北，再加個抗美援朝。這兩個地方和抗美援朝，毛主席都是很重視的。毛主席想讓我抓政治局，劉少奇去搞他的“議會”，也就是人大常委會，可以當個部長會議主席。其實，讓周恩來當部長會議主席，還不如林彪當。林彪現在在杭州。我得趕緊到南方去一趟。組織工作會，就由你了。
最後，高崗問：
“你找我有什麼事？”
“主要就是這事，我也聽到了風聲。再就是你說給我推薦點干部，得快一點，我在中組部的人太少。”
“好，走以前，我給你一個名單。”
“還有，原來東北局組織部的那位還行吧？”
“沒問題，他可以在會上發言，我已經同他談過了。”高崗略加思索，又說：“今後，中組部的工作可以以他為核心。你就不一定還管那些具體事了。”
“那好。”饒漱石那雙小而明亮的眼睛，眨巴幾下，心領神會。
“有些我自己不好說的話，你是可以說的。——當然，場合要適當。”這句話，饒漱石也一聽就懂。
其實，饒漱石在中組部整安子文，早在財經工作會議正在召開的7月中旬，就已經動手了。
那是在槐里胡同1號中組部的一次部務會議上。
這之前不久，中組部黨員管理處處長王甫和辦公室主任趙漢，曾經帶幾個人，到山東考察“新三反”運動和農村整黨的情況。他們的工作很不順利，有些地方組織不僅不支持，反而進行阻撓。王、趙二人找到山東分局的主要負責人反映，也沒有結果。沒辦法，王、趙二人覺得工作進行不下去，就回了。後來安子文向劉少奇、周恩來反映了這一情況。
就為這，饒漱石在部務會上向安子文發動突然襲擊。整整一個上午，饒漱石聲色俱厲，一會兒站起，一會兒坐下，指著安子文的鼻子進行斥責：
“有的問題，為什麼不先向我反映，而先向劉少奇、周恩來反映？！你這是膽大妄為！你眼睛里沒有我這個部長，我就要你認識認識我這個部長！
“王甫、趙漢是新兵，他們聽到槍聲，不免有些緊張。你安子文是老兵，你不該聽到一點槍聲就……”
說到“就”字，饒漱石又站了起來，他過于氣急敗壞，找不到滿意的詞彙，也就“就”在這里，拉倒了。
7月中旬開始，整安子文的部務會，開了好幾次。王甫、趙漢的事饒漱石也提過好幾次，一會兒說這件事表明安子文是“支持條條反對塊塊”，一會兒說王、趙離開山東是安子文指使和縱容他們“向中央局、分局提抗議”。饒漱石還指責安子文在財經會議上不發言表態，有抵觸情緒，是“界限不清，嗅覺不靈”。
對于安子文未經中央授權，草擬政治局人員名單和各部主要負責人名單那件事，饒漱石一方面加以利用，在許多人中間私下傳播，進行挑撥離間；另方面又利用來整安子文。安子文就名單問題向中央作了書面檢討，並受到當面警告的處分，饒漱石仍然揪住不放。
剛來不久的部長，在部務會上沒完沒了地整主持日常工作的副部長。
中組部的正常秩序被攪亂了。
饒漱石如此大整安子文，攪亂中組部，自有他的想法。劉少奇看來是肯定不行了，而高崗卻鋒頭正健。許多人都認為饒漱石是劉少奇“線上的人”，這可不好。高崗明確說過，安子文是劉少奇的親信，正好安子文在饒漱石手下當副部長，能狠狠整一下安子文，就表明饒漱石究竟是不是劉少奇“線上的人”，也會更加博得高崗的信任。
1953年9月，第二次全國組織工作會議召開。按中央的意圖，開這次會，主要是總結組織工作經驗，研究如何加強干部工作，以保證經濟建設的順利進行。