面對新政權，後周舊臣中識時務者則俯首稱臣，但也有不甘任人擺布者，尤其是昔日與宋太祖一樣手握兵權的將領們。周世宗去世後，懷有帝王野心的人又何止趙匡胤一個？只是趙匡胤捷足先登，使其他人失去機會，但並沒有打消他們的念頭，他們仍在等待時機去實現自己的帝王夢想，李筠和李重進便是其中代表。
李筠鎮守潞、澤、沁等州達8年之久，他為人驕橫跋扈，連周世宗都不放在眼里。宋太祖繼位後，曾遣使者去封李筠為中書令，欲用高官宋元通寶
厚祿來籠絡這位後周老臣。李筠竟下令將使者拒之門外。經過幕僚反複勸說，他勉強接待了使者，但卻在招待使者的酒宴上掛起周太祖的畫像放聲大哭，表示對宋太祖的強烈不滿。此事被北漢國主劉鈞所知，便許諾幫助李筠起兵攻宋。李筠長子李守節不同意父親的做法，但勸阻無效。
太祖得知李氏父子意見不一，任命李守節為皇城使以探李筠意圖。李筠也趁機派兒子入京，以窺伺朝中動向。李守節入宮，太祖開口便叫他為太子，嚇得李守節魂飛魄散，連連叩頭表示效忠新君。太祖讓李守節回去勸李筠打消造反的念頭，哪知李筠不聽兒子勸告，于建隆元年（960）四月正式起兵。
然而，李筠狂妄無謀，他沒有采納幕僚們的一些正確建議，竟率軍直搗汴京。太祖派大將石守信、高懷德、慕容延釗和王全斌等人率軍平叛。此時，曾答應出兵相助的北漢劉鈞卻坐山觀虎斗，竟按兵不動。石守信在兩軍的初次交鋒中大敗李筠，打擊了他的銳氣。同時，太祖又率軍親征，李筠連遭敗績，退入澤州城。太祖親自指揮各軍攻城，澤州城破，李筠投火自焚，李守節以潞州降宋，李筠之亂被平定。
當李筠反宋時，南方的李重進欣喜若狂，連忙派幕僚翟守珣星夜前往李筠處聯絡南北夾攻之事。哪知翟守珣卻去了汴京，將李重進的計劃詳細告知了太祖。當時由于應付李筠之事，為避免分散兵力南北作戰，太祖讓翟守珣回去設法拖延李重進起兵的時間。翟守珣回去後施展巧舌，詆毀李筠不足與謀大事，勸李重進不要輕舉妄動。志大才疏的李重進果然中計，沒有及時起兵，錯失了良機。
有關趙普獻策的記載李筠之亂平定後，太祖便全力對付李重進，改授他為平盧節度使，守青州。李重進拒絕離開揚州，于建隆元年九月起兵。太祖命石守信、王審琦、李處耘和宋延渥（wo）等領兵平叛，並再次親征。這場叛亂不過50天便被平定，李重進自殺身亡，其黨羽多被太祖處死。
二李叛亂的平定，不僅懾服了後周舊臣，更重要的是警示那些武將們必須服從新政權。但是，五代時那種朝為比肩之臣，暮有君臣之分，驕兵悍將們將弑主篡位視同家常便飯的陰影依舊籠罩在太祖心頭。二李的相繼叛亂使太祖更加確信擁有重兵的武將和藩鎮是國運長久最大的威脅。然而，國家處于建立初期，天下四分五裂，進行統一戰爭和鞏固邊防都需要武將統兵征戰。太祖心中忐忑不安，遂找心腹趙普來商量此事。
太祖問趙普：“天下自唐末以來，數十年間，帝王凡易十姓，兵革不息，蒼生塗地，這是為何？我欲息天下之兵，為國家建長久之計，有何方法？”趙普說：“陛下能如此考慮，天地神人之福也。唐末以來，戰斗不息，國家不安，其原因無他，只因節鎮太重，君弱臣強而已。今別無他法，惟有稍奪其權，制其錢谷，收其精兵，則天下自安矣。”語未畢，太祖便表示已明白他的意思。于是，太祖精心設計了一場奪兵權的酒宴。
建隆二年（961）七月，太祖設宴招待石守信、王審琦等高級將領。酒酣之時，趙匡胤卻悶悶不樂。石守信等人忙問原因，太祖遣走左右，說：“若非你等出力相助，我怎能有今日？你們的功德，我銘記于心。只是今日做了天子，卻常常難以入眠，還不如做個節度使快樂。”石守信等人納悶，忙問為何。太祖答道：“其中原由極易知曉，做天子如此風光，天下誰人不想？”石守信等人聽到往日鮮有隔閡的義社有關杯酒釋兵權的記載兄弟話中有話，頓覺氣氛不對，均表示如今天命有歸，無人敢懷有異心。不料，太祖卻說：“縱使諸位無異心，若你們的部下貪圖富貴，將黃袍披在你們身上，那也由不得你們了。”此言一出，石守信等人都冒出一身冷汗，皇帝的話分明是懷疑他們有奪位之心。他們都知道臣子一旦被猜忌，後果很嚴重，便磕頭請太祖指點明路。太祖見時機成熟，便直截了當說：“人生如白駒之過隙，所謂好富貴者，不過欲多積金銀，厚自娛樂，使子孫無貧乏罷了。你們何不釋去兵權，購買良田，為子孫立永久之業；多置歌兒舞女，飲酒作樂，頤養天年。如此，我們君臣間毫無猜嫌，上下相安，豈不為好？”石守信等人跟隨太祖多年，深知他說這番話來是經過深思熟慮，便一齊叩頭謝恩。
第二日，石守信等禁軍將領紛紛上書，稱自己有病在身，請求解除兵權。太祖十分高興，立即同意請求，賜予大量金銀財寶，授予他們有名無實的節度使官銜。之後，太祖又與這些將軍結為兒女親家，他的長女昭慶公主下嫁王審琦之子王承衍，次女延慶公主下嫁石守信之子石保吉，皇弟趙光美（廷美）娶大將張令鐸的女兒為夫人。
削奪禁軍將領兵權後，太祖曾想讓天雄軍節度使符彥卿統領禁軍。符彥卿是周世宗及皇弟趙光義的岳父，太祖頗加優遇。但趙普以符彥卿名位已盛，不可再委兵柄為由相諫。太祖不聽勸阻，認為自己待符彥卿甚厚，符彥卿不會辜負自己。趙普卻反問太祖：“陛下何以能負周世宗？”太祖默然無語，此事便作罷。太祖也意識到節度使的兵權不能不削，于是上演了第二次“杯酒釋兵權”，只是與前略有不同。
開寶二年（969）十月，太祖設宴招待幾位掌握兵權的節度使。正飲酒時，太祖卻做體恤狀，說道：“卿等都是國家功臣宿將，戎馬一生，本已辛苦，如今還不辭勞苦駐守大鎮，實非朕優待賢士之本意。”座下鳳翔節度使王彥超頗能揣摩主子心意。太祖早年未發跡時曾投奔王彥超，但被拒之門外，太祖即位後曾當面質問他此事。王彥超卻說：“臣當年所轄之處乃是小郡，容不下真龍天子。若陛下當年留在臣處，怎能有今日？可見上天有意不讓臣收留陛下是為了成全陛下今日的大業。”太祖聽了十分高興，也沒有再和他計較。這次王彥超一聽太祖之言，心領神會，馬上道：“臣本無勳勞，久冒榮寵，今已衰朽，乞骸骨，歸丘園，臣之願也。”另外幾位節度使武行德、郭從義、白重贊和楊廷璋雖明白太祖的意圖，卻不願解除兵權，紛紛訴說自己當年的攻戰經曆和沙場艱辛。太祖心中十分不快，冷冷道：“此均為前朝之事，何足道哉。”第二日，這五人都被罷任，授以虛銜，其他一些未赴宴的節度使如向拱、袁彥等也相繼交出兵權。
太祖吸取唐末五代藩鎮之亂的教訓削奪武將兵權，鞏固了帝位。但他並沒有采用曆史上屠殺功臣的做法，這對于皇帝和武將來說是皆大歡喜的結局，也充分顯示出太祖在政治上傑出的禦人之術。然而，過分削奪武將兵權，是導致宋朝武事不振、形成積弱局面的重要原因。