李鴻章焦急等待德璀琳和美、德外交調解時，日軍連續攻陷金州、大連，向旅順猛撲。旅順口與威海衛隔海相望，是渤海門戶。日軍決定以“重大傷亡代價攻取旅順”。日軍攻占旅順後進行了慘無人道的屠城行動，全城僅留三十六人負責掩埋尸體。負責旅順船塢工程的龔照玙，金州失陷後逃回天津。李鴻章令其回旅順前線效力。然日軍進攻旅順時，他棄船廠于不顧，喬裝改扮混在士兵中逃跑了。當時人們編了“文官三只手，武官四只腳”的歌謠諷刺淮軍逃跑之快。李鴻章一生都以淮軍為榮，此次敗逃實使其遭受了不小的打擊。
日軍的下一目標是威海。李鴻章令丁汝昌不惜任何代價，也要守住威海衛。當時朝野均指認北洋水師提督丁汝昌貪生怕死、畏敵避戰，要求將其立即撤職。北洋海軍總教習德國人漢納根評價道：“有人責備北洋海軍，殊不知這不是北洋海軍的過錯，也不是丁提督的過錯。有人鉗制海軍，丁汝昌不能做主。”這個人就是李鴻章。李鴻章認為中日軍隊實力懸殊，攻打旅順時，丁汝昌曾請求艦隊與日本決一死戰。李鴻章堅決反對，對丁汝昌說：“你在威海衛守住那幾只船，其余不關你的事！”
日本此時突然改變戰略，在報紙上公開刊登議和“價碼”：中國賠償軍費四億兩，並將日目前所占之區割讓日本。清政府認為條件雖苛刻，卻有議和的希望，任命邵友濂、張蔭桓為全權大臣，赴日談判。一向主張議和的李鴻章對此次議和態度並不積極，他認為日本此時提出議和，其中定有蹊蹺。果然，清方使臣還未踏上東瀛，日軍便發動更大攻勢。二人使團的迅速成行明確顯示出清政府無心戀戰、急于求和的真實意圖，也使日本政府堅信，戰爭越擴大就越有利可圖。
1895年2月2日，威海衛失陷。統帥丁汝昌早已作好與北洋艦隊同存亡的准備。豐島海戰後，他將兒子丁代禧留在身邊，兒媳張氏和孫子丁旭山送回原籍。臨行前他交代張氏：“我的生命已交給了國家，你一定要照看好我的孫子！”劉公島保衛戰開始後，丁汝昌向李鴻章表示：“唯有船沒人盡而已！”丁汝昌派人將鴉片送到船上，以備如果不能戰死就服毒自盡。為防止受傷軍艦落入敵手，丁汝昌用廣丙艦的魚雷炸沉了已擱淺的靖遠艦，又在定遠艦中部裝上火藥，將其炸毀。定遠艦管帶劉步蟾吞鴉片自盡，實踐了“艦隊亡則人亡”的誓言。丁汝昌向廣大官兵許諾的最後一天終于來到了。傍晚，丁汝昌收到李鴻章的電報，上面寫著 “援兵無期”！
最後的希望破滅了。深夜時分，水陸兵民萬余人向他哀求活命。丁汝昌歎口氣，道：“與軍艦同生死是我的職責。但我的死可以救你們的命。”他向大家暗示自己死後可投降日軍以求活路。並交代部下牛昶銷毀北洋水師的提督印。丁汝昌服下事先准備好的鴉片，次日清晨氣絕身亡。
牛昶和楊用霖主持了投降事宜。楊用霖當場拒絕，口誦“人生自古誰無死，留取丹心照汗青”的詩句走入船艙，飲彈身亡。護軍統領張文宣同時自盡。美國人浩威建議以丁汝昌的名義投降，牛昶在投降書上蓋提督大印。幾人將責任推到丁汝昌身上。可憐丁汝昌死後蒙羞，家產全被沒收，子孫流離失所。直到宣統二年（1910年），在威海商民聯名提議下，方由袁世凱上奏為其平反昭雪。
1895年2月17日，日本艦隊徐徐駛入威海港。中國鎮遠、濟遠、平遠、廣丙、鎮東、鎮西、鎮南、鎮北、鎮中、鎮邊等十艘軍艦換升日本國旗。只有康濟艦仍懸掛黃龍旗，載送著丁汝昌、劉步蟾、楊用霖等六人的靈柩。下午1點，十艘中國軍艦全部編入日本艦隊。4點，康濟艦在汽笛的哀鳴聲中，冒著瀟瀟冷雨，淒然離開威海。李鴻章苦心經營的北洋艦隊、精心培養的海軍人才同他洋務救國的夢想一起覆沒了。