據統計，葉利欽到任的最初幾個月里，莫斯科的33個區委書記中，被他因各種罪名換掉了23個，葉利欽不僅在政治上進行前所未有的改革，在生活上同樣也表現出體察民情的形象。他經常深入基層，微服私訪，查看城市食品供應情況，了解老百姓對腐敗現象的不滿。他不僅下令取消了在蘇聯存在了多年的高干特供商店，還叫他的妻子像普通市民一樣排隊買東西。一時間，葉利欽在莫斯科名聲大振。從這些現象中可以看到葉利欽具有與戈爾巴喬夫十分相似的思想觀念和工作風格。
為了加快改革的進程，身為莫斯科市委第一書記的葉利欽，利用莫斯科的新聞輿論工具大反特反官僚主義和腐敗特權，提出"批評無禁區，公開無界線"的口號，他甚至還在外國人面前公開指責黨內有人反對改革，把黨內的矛盾毫無顧忌地向外界公開。
葉利欽的所作所為與戈爾巴喬夫一樣贏得了蘇聯人的喝彩，使西方的反蘇勢力開始驚訝繼而喝彩表示贊同。正是戈爾巴喬夫和葉利欽這兩個人，一個在蘇共中央，一個在莫斯科市委，他們大膽而超越常規的改革行為在蘇聯的政治界引起了很大的混亂。蘇聯現存的政治機體遭受了沉重的打擊，人民的思想混亂，信仰喪失，各種形形色色的思想和意識形態在蘇聯的土地上迅速傳播開來，特別是各種宗教大肆蔓延，完全失控。
葉利欽的行為理所當然地在蘇共中央和莫斯科市委內部受到了強烈的譴責，甚至連蘇共中央總書記戈爾巴喬夫也感到有些吃驚，因為葉氏的過激言論和行為已經超出了他的想象。他覺得在這場由他發起的改革浪潮中，葉利欽大有喧賓奪主之勢。于是戈爾巴喬夫與葉利欽的沖突終于爆發了。
1987年6月，在蘇共政治局內部討論戈爾巴喬夫紀念十月革命70周年的講話稿時，其他政治局委員對這份也許是戈爾巴喬夫花了些心血，而且令他非常滿意的文稿都表示原則同意，有的也只就個別細節提了一點意見。但這時心態良好的葉利欽卻對講話稿旁若無人地橫加指責，並提出了20多條修改意見，其中包括對蘇聯過去幾十年曆史的基本評價和黨的現行改革政策的措施等原則性問題。在葉利欽的眼里，這份文稿應該推倒重來，要以美國政治為藍本，重構蘇聯的政治體制。
戈爾巴喬夫的臉終于掛不住了。在此之前，已經有人向戈氏提出過，說葉利欽是個危險的野心家，而且因他在工作上許多方面的過火行為，造成了他在中央和莫斯科市委內部也不得人心。
1987年底，葉利欽被免去莫斯科市委第一書記和蘇共中央政治局候補委員的職務，當了一個無關緊要的國家建委副主席。葉利欽的下台雖然表明他的仕途在蘇共中央內部已經走到了盡頭，但由于他在莫斯科兩年的工作經曆，在莫斯科市民乃至整個蘇聯人民的心目中卻建立了良好的印象，特別是黨內的激進分子和社會上極端思潮團體和一些激進分子都認為他就是一個改革家，是一個比戈爾巴喬夫更大膽更優秀的改革家。這也為他日後東山再起埋下了伏筆。
有意思的是，戈爾巴喬夫反對的並不是葉利欽對改革的思想和做法，他討厭的是葉利欽過于張狂的性格和喧賓奪主的氣勢。因為在撤銷葉利欽職務的理由中並沒有提到他對待改革性質的認識上有什麼不對之處，也不認為他的政治主張有什麼不對，戈爾巴喬夫只是與葉利欽在對待改革的進度和莫斯科市委在改革中的領導權方面出現了分歧。葉利欽認為改革還要再快一些、再大膽一些，而且莫斯科市委在對改革的領導權上應有更大的獨立性。這好像讓人感覺到兩位第一書記是在改革果實的歸屬問題上發生了分歧。
從表面上看，改革才剛剛開始，而且是否成功還是個未知數，兩個人卻為日後改革成果的歸屬反目成仇。成熟的政治家都知道，這不是本質的東西。美國人在這個方面的直覺，比任何國家都要敏銳和清晰。美國的不少政治家感到，蘇聯的解體和俄羅斯的衰落，在這些表面張狂，而實質上幼稚病不斷加重但又走向最高政壇的人身上已經不可避免。
經過了被撤職這次沉重的打擊，葉利欽的思想也許已經悄悄地發生了某些變化，改革是否成功、民主是否重要、還提不提人權問題等等，已經不在他的思考范圍之內了。1990年，在戈爾巴喬夫本人大力提倡的民主選舉過程中，葉利欽參加了俄羅斯第一屆人代會選舉，並如願以償地當選為俄羅斯最高蘇維埃主席，不久又當選為第一任俄羅斯總統。
這是一個極有意思的事情：在由戈爾巴喬夫一手導演的全國性主權大分裂中，已經成了他政治上敵人的葉利欽，竟然出乎意料地奪取了蘇聯最大也是最重要的加盟共和國俄羅斯的領導權。葉利欽已經完全擺脫了戈爾巴喬夫的控制，反而在許多方面可以控制戈氏的行為了。