1886年，劉坤一路過天津看望李鴻章。問及蚊子船近況，李鴻章閉目搖頭，胡子抖動，半天說不出一句話。五年後，李鴻章不得不對外宣布：這些船全用破鋼片鑲成，每年經兩次大修才不至沉沒，和一堆廢品沒什麼差別。
1883年，李鴻章的女婿張佩綸提議在總署之下添設海防股，專司海防事務。海防股除掌管南、北洋海防所有事務外，所有長江水師、沿海炮台、船廠，及鐵路、礦產諸事均由其管理。1884年中法在越南問題上出現分歧，清廷決定設海防大臣以統管海防事宜。中法一戰，南洋水師全軍覆沒，清廷大為惱火，發布上諭：“這次海戰法軍船堅炮利，橫行無忌。我們不也開設船廠，創立水師，然所造之船不堅固，所制武器不頂用，所選將領不英勇，以至法人挑釁時，陸軍屢獲全勝，水師卻一敗塗地。如果水師力量稍強，二者相互支援，哪至處處受制。現在事情雖然過去，但本朝本著懲前毖後的原則，一定要大治水師！”
不久，李鴻章應召入京，在北京停留二十余日。除與醇親王、軍機大臣、總署官員頻頻交換意見外，單是慈禧就親自召見李鴻章五次，詳細討論了組建海軍衙門事宜。據英國情報人員記載，李鴻章此次進京共帶三條建議：一是修築京津鐵路；二是設立中英銀行；三是籌建海軍部。前兩項因有人反對未能實現，只有籌建海軍部獲得通過。李鴻章在給曾國荃的信中提到此次進京情況，他說：“我這次在北京逗留兩旬，受到五次召見，就當前事務陳訴己見。可惜我太過愚笨，沒能琢磨透上面高深莫測的想法。依我看來，禧聖（慈禧）和醇邸（醇親王）已決心改革政治，皆因中法戰爭的失敗，真乃塞翁失馬，焉知禍福矣！”
海軍部雖決定設立，然諸如辦公地址、內部組織等具體問題仍沒有著落。這些問題不僅僅醇親王深覺困惑，李鴻章也所知甚少，朝中群臣更不必說。李鴻章將希望寄托在一個人身上，即駐英公使曾紀澤。李鴻章不斷催促曾紀澤回國，他懇切地說：“明年春天你一定要回來，翻譯局和海軍部都等你來主持工作，這樣艱巨的任務除你之外任何人都無法承擔。”可是曾紀澤以身體欠佳為名，遲遲不肯回國。李鴻章和曾紀澤是好朋友，直接去信責曾紀澤不識大體：“海軍之事全指望你了。我們年紀都不小了，我也早想借病告老還鄉，可是我們都受聖上的隆恩，唯有鞠躬盡瘁，共度時艱，你怎可藉病推脫？回國沿途注意考察西洋各國海軍設施。中法戰爭後，各省都需償還兩千萬兩白銀洋債，海軍暫時拿不出太多的錢來購買巨艦。但缺錢是次要的，將領才是最缺乏的。熱切盼望你回來用西法振興中國海軍。”在李鴻章的誠摯邀請下，曾紀澤回國了。
籌辦海軍，人力和財力始終是李鴻章最為勞神的兩件大事。常額經費雖定為每年四百萬兩，實際上從未收足。急得李鴻章大聲疾呼：“海軍至今不名一錢，不得一將，茫茫大海令我望洋興歎，深感恐懼，我該如何是好！”不僅李鴻章一人關注著海軍部，西方國家也密切注視著海軍部的發展。《北華捷報》的一位記者注意到海軍部的窘迫狀況：“海軍部目前狀況十分簡陋，想擔負起它所指定的任務，還需很多的努力。”不久，海軍部正式成立，以醇親王奕譞、李鴻章和曾紀澤三人為組織核心。一位外國駐京記者報道說：“這三位高級官員的確是當時所能獲得的既有真正能力服務、又值得信賴的人物。他們很有希望能為帝國作出一番具有永久利益的事業！”