葉利欽在斯維爾德洛夫斯克州一呆就是30年，成為州里名噪一時的頭號人物。這時的葉利欽還只是蝸居在一州之隅，稱不上是全國性的政治家，但對權力的渴望已深深地召喚著他。
1985年，與葉利欽同齡的戈爾巴喬夫上台執政，實行所謂"人道的民主的社會主義"。一大批基層干部走進了蘇共中央領導崗位，戈氏此時看中了以前在工作中認識的同僚葉利欽，將其調到莫斯科，任命他為蘇共中央建設部部長，葉利欽終于邁出了從地方政治人物到全國性政治家乃至克里姆林宮主人的關鍵一步。
也就是這一年，葉利欽陪戈爾巴喬夫去蘇聯石油重地秋明視察，在那里還認識了當時的國家天然氣工業部部長切爾諾梅爾金。秋明之行，大權在握的戈爾巴喬夫對葉利欽的工作能力和作風更為賞識，一手提他出任蘇共政治局候補委員，年底又兼莫斯科市委第一書記。
任莫斯科市委書記後，葉利欽進行了大刀闊斧的改革，短短幾個月，莫斯科33個區的區委書記就有23個被葉利欽罷了官、免了職。
1987年10月，葉利欽在蘇共中央全會上即席發言，向戈爾巴喬夫和蘇聯的改革政策公開發難，對改革的進程、對黨的組織、尤其是黨的最高領導層的工作作風，其中包括對蘇共中央總書記戈爾巴喬夫提出了批評。他說："目前改革遇到了很大的困難，我們當中的每一個人都負有極大的責任。"他的發言破壞了幾十年來在權力堡壘中形成的行事規則，引起了軒然大波。27名與會者紛紛起來反駁，認為葉利欽的發言本身和發言中所作的種種評價，其動機並非是對現狀的擔憂，而是與他個人品格中的某些缺點有關，傲慢、自負、好斗、左傾如此等等。他們還譴責葉利欽所批評的一切是在社會革新的重要時刻分裂黨、企圖破壞最高領導層的團結。
1987年11月11日，戈爾巴喬夫代表蘇共中央解除了葉利欽莫斯科市委第一書記職務，改任建委第一副主席。戈氏把這個決定通知葉利欽時，特意強調："葉利欽你要記住：我決不會再讓你搞政治。"
就這樣，葉利欽政治上一度失寵，跌了下去，從戈爾巴喬夫改革的陣營中消失。然而，葉利欽所堅持的激進的改革思路和不同于戈爾巴喬夫的價值觀念，代表了相當一部分蘇聯人的政治要求。葉利欽敢于向蘇聯黨內的權勢人物發難，敢于用最激烈的言語在最高領導層的會議上及其他場合抨擊蘇聯的改革，直至丟官，這也引起了許許多多蘇聯人的同情。他被戈爾巴喬夫的貶黜，反而成為其難得的政治資本，成為戈氏改革路線對立面的頭面人物。這些不僅為其以後的東山再起奠定了基礎，而且也為以後俄羅斯政局的諸多事端埋下了種子。
葉利欽的性格決定了他決不甘心做一個政治棄兒、決不甘心在蘇俄政壇上銷聲匿跡。他心里清楚，戈氏制造和啟動的民主化進程的機制遲早會給他重返政壇的良機，他需要等待。
1988年12月，蘇聯人民代表的選舉給了葉利欽重返政壇的良機。他決定參加競選人民代表。可是，根據當時的選舉制度，部長沒有權利當選人民代表，為此，他毅然辭去了部長職務，全力以赴投入競選。在競選期間，他幾乎每天都與選民見面，並多次參加大規模的群眾集會，出席電視辯論會。他抓住一切機會宣傳自己的施政綱領，抨擊時政，揭露政府官員們的官僚主義作風和腐敗行為，充分展示自己廉潔奉公、從政為民的形象和深入基層、密切聯系群眾的作風
1989年3月，他終于如願以償，當選為蘇聯人民代表。在談及這次勝利時，葉利欽說："我被選為人民代表的這一天，是我的第三次誕生。"
1990年1月，在他的積極活動下，蘇聯共產黨內形成了以他為代表的"民主綱領派"。這年7月的蘇共第二十八次代表大會上，"民主綱領派"公開提出蘇共放棄馬列主義作為黨的指導思想，放棄共產主義的奮斗目標，放棄民主集中制，要把蘇共建設成社會黨的思想主張。他們還極力主張，取消軍隊、政治部門和國家機關中的基層黨組織。葉利欽及其"民主綱領派"的這些主張沒有被大會全部接受，于是，葉利欽在大會結束時當眾宣布退出蘇聯共產黨。
與此同時，葉利欽決定競選俄羅斯最高蘇維埃主席職務。在競選演說中，他提出必須真正放棄蘇共對權力的壟斷，將權力轉交給蘇維埃，擴大企業的自主權，在農村實行多種形式的所有制。經過三輪角逐，1990年5月29日，葉利欽以微弱多數險勝俄共推薦的候選人，當選為俄羅斯聯邦最高蘇維埃主席。
這次競選的勝利，使戈爾巴喬夫改革道路上多了一個強有力的對手：他有著自身鮮明的特點，與蘇聯共產黨格格不入，反對戈爾巴喬夫以"人道的民主的社會主義"拯救蘇聯的道路，他脫掉共產黨人的外衣，強烈地向蘇聯向世界表明自身"激進反對派"的形象，利用一切手段在群眾中尋求支持，集聚著另一股政治力量。