1883年，李鴻章的女婿張佩綸提議在總署之下添設海防股，專司海防事務。海防股除掌管南、北洋海防所有事務外，所有長江水師、沿海炮台、船廠，及鐵路、礦產諸事均由其管理。1884年中法在越南問題上出現分歧，清廷決定設海防大臣以統管海防事宜。中法一戰，南洋水師全軍覆沒，清廷大為惱火，發布上諭：“這次海戰法軍船堅炮利，橫行無忌。我們不也開設船廠，創立水師，然所造之船不堅固，所制武器不頂用，所選將領不英勇，以至法人挑釁時，陸軍屢獲全勝，水師卻一敗塗地。如果水師力量稍強，二者相互支援，哪至處處受制。現在事情雖然過去，但本朝本著懲前毖後的原則，一定要大治水師！”
不久，李鴻章應召入京，在北京停留二十余日。除與醇親王、軍機大臣、總署官員頻頻交換意見外，單是慈禧就親自召見李鴻章五次，詳細討論了組建海軍衙門事宜。據英國情報人員記載，李鴻章此次進京共帶三條建議：一是修築京津鐵路；二是設立中英銀行；三是籌建海軍部。前兩項因有人反對未能實現，只有籌建海軍部獲得通過。李鴻章在給曾國荃的信中提到此次進京情況，他說：“我這次在北京逗留兩旬，受到五次召見，就當前事務陳訴己見。可惜我太過愚笨，沒能琢磨透上面高深莫測的想法。依我看來，禧聖（慈禧）和醇邸（醇親王）已決心改革政治，皆因中法戰爭的失敗，真乃塞翁失馬，焉知禍福矣！”
海軍部雖決定設立，然諸如辦公地址、內部組織等具體問題仍沒有著落。這些問題不僅僅醇親王深覺困惑，李鴻章也所知甚少，朝中群臣更不必說。李鴻章將希望寄托在一個人身上，即駐英公使曾紀澤。李鴻章不斷催促曾紀澤回國，他懇切地說：“明年春天你一定要回來，翻譯局和海軍部都等你來主持工作，這樣艱巨的任務除你之外任何人都無法承擔。”可是曾紀澤以身體欠佳為名，遲遲不肯回國。李鴻章和曾紀澤是好朋友，直接去信責曾紀澤不識大體：“海軍之事全指望你了。我們年紀都不小了，我也早想借病告老還鄉，可是我們都受聖上的隆恩，唯有鞠躬盡瘁，共度時艱，你怎可藉病推脫？回國沿途注意考察西洋各國海軍設施。中法戰爭後，各省都需償還兩千萬兩白銀洋債，海軍暫時拿不出太多的錢來購買巨艦。但缺錢是次要的，將領才是最缺乏的。熱切盼望你回來用西法振興中國海軍。”在李鴻章的誠摯邀請下，曾紀澤回國了。
籌辦海軍，人力和財力始終是李鴻章最為勞神的兩件大事。常額經費雖定為每年四百萬兩，實際上從未收足。急得李鴻章大聲疾呼：“海軍至今不名一錢，不得一將，茫茫大海令我望洋興歎，深感恐懼，我該如何是好！”不僅李鴻章一人關注著海軍部，西方國家也密切注視著海軍部的發展。《北華捷報》的一位記者注意到海軍部的窘迫狀況：“海軍部目前狀況十分簡陋，想擔負起它所指定的任務，還需很多的努力。”不久，海軍部正式成立，以醇親王奕譞、李鴻章和曾紀澤三人為組織核心。一位外國駐京記者報道說：“這三位高級官員的確是當時所能獲得的既有真正能力服務、又值得信賴的人物。他們很有希望能為帝國作出一番具有永久利益的事業！”
不論朝廷內部如何吹捧，外界媒體怎麼宣傳，李鴻章心里清楚，不論人才、經費問題，單是海軍衙門的人事構成就存在著諸多缺陷。首先，主要官員均為兼職，無專門任職人員。醇親王奕譞兼管神機營，李鴻章任直隸總督兼北洋大臣，曾紀澤的兼職更多，除在總署和同文館任職外，先後在戶部、刑部、吏部兼任侍郎。其次，海軍部很快成為官員安插子弟、拉關系走後門的場所。海軍部的章京部，除李鴻章極力保薦的傅云龍是漢人外，其他是清一色的旗人。所謂旗人，即八旗成員。八旗是清朝建立之初創立的一種軍事和社會組織，在清朝入主中原上起到了很大的積極作用。旗人並非都是滿人，八旗分為滿洲八旗、漢軍八旗和蒙古八旗。清朝在滿漢之分，主要是旗民之別。“旗”即滿、漢、蒙三族旗軍的成員，“民”即旗人以外的普通百姓。近代以後，“旗”已成為特權和地位的象征，旗人子弟一不會打仗，二不能種田，三不屑做工，四沒本事做官，只是吃著祖宗留下的老本，等著朝廷給些閑職做做。海軍部職權大、利益多，剛剛組建空額很多，皇親國戚、官宦子弟、候補官員一下子蜂擁而來。
新官上任三把火，醇親王奕譞決定和李鴻章視察北洋海防。沿線視察了大沽口、煙台、威海衛、旅順口、大連灣等處炮台、船塢、學堂、兵防情況。醇親王的行動驚動了英、法駐華海軍司令，特意率艦隊到旅順和煙台參觀，一則向中國海軍最高長官表示敬意；二則想告訴奕譞，和我們相比中國海軍還有很大差距。