別人走了，但霍英東從沒有想過放棄。這個時候，倘若霍英東也走了，則前功盡棄，10萬元也就泡湯——在當時，10萬元可是個不小的數目。在沒有退路的情況下，霍英東表現出從沒有過的頑強的意志力。他咬咬牙，下決心重整旗鼓，繼續在東沙島采集“海人草”。
這次，霍英東不再招香港人和內地人，而是雇請和的漁民，因為他知道這兩個地方的漁民能吃苦耐勞。經過一番周折之後，新的隊伍進駐東沙島，島上又開始熱鬧起來。
果然不出所料，台灣和日本的漁民確實比原先的那批工人強多了。每天4點多鍾，天剛朦朦發亮，他們就起床，煮好飯團，帶些咸菜和咸魚，出海撈“海人草”去了。因為天氣酷熱，帶去的飯菜很快就發餿，但他們仍然吃得津津有味。這些人還有一個本領，就是用魚叉刺魚。在海上作業的時候，如果看見有魚在海里出現，他們就迅速操起一支長長的魚叉，動作嫻熟地拋出去，准確刺中魚身，隨即便把一條大魚拖上船來。用不著等到放工後才把魚煮來吃，一叉到魚，他們就當場用刀切成一片片生吃。
對付鯊魚，這些人也有一套方法。遠遠看見鯊魚翻騰過來，他們一點也不慌張，隨便找塊布，放在海底不停攪動，鯊魚誤認為是龐然大物，也就避而遠之。但是，饑餓和死亡仍然時刻威脅著島上的每一個人。由于種種原因，補給船常常誤期，造成島上食品斷絕，幾天吃不到一粒米飯的事時常發生，這個時候，工人們只好啃魚干、吞生螺肉、吃海藻……如果不幸患病，那就更慘，島上沒有醫生，沒有藥品，只能靠自己以頑強的意志抵抗病魔，別無它法。
島上生活枯燥無味，惟一可以解悶的方法就是大伙踢球。霍英東回憶說：“當時，如果帶去足球就好了，我們只是用一些廢紙紮成一個小紙球，大家踢來踢去……”
台風中死里逃生
饑餓、生病都不是霍英東他們最怕的，他們最最擔心的，是在海上作業時突然間遇上強台風——因為，一旦遇上台風，就有可能船翻人亡。可霍英東就偏偏在一次海上作業時，遇上台風，並險些葬身大海。
那是霍英東他們上島4個月以後發生的事。
一天清晨，天色晴朗，風平浪靜。霍英東和10名工人，乘坐大工作船前往東沙島以東17公里處的珊瑚礁。那里盛產“海人草”，只用幾個時辰工夫，他們就大有收獲，采集到的“海人草”裝滿了一只小電動船。中午時分，霍英東和一位輪機手、一位船工開著裝滿“海人草”的電動小船離開珊瑚礁，直奔東沙島。動身之時，還是風和日麗的，但10多分鍾後，天色驟然變得灰蒙蒙，俄頃，狂風四起，暴雨傾盆而下，波浪洶湧咆哮起來，把電動小船拋上跌下，“海人草”散落水中……被狂風大浪折騰了幾下子，3個人昏頭轉向的，茫茫大海中已辨不清東西南北。方向已迷失，不知道沿哪條航線航行，這時，他們惟一能做的就是掌好舵，把握好船體的平衡，不讓小船在狂風駭浪中翻沉。但是，那位見慣風風浪浪的船工，經不起狂風大浪長時間的折騰，臨陣膽怯，不敢掌舵，霍英東只好自己把舵駕駛……
在茫茫大海中與風浪搏擊了幾個小時，3個人都精疲力竭，雙腳疲軟無力，兩手動彈不得。他們已無法掌舵了，個個癱在船上，任由風浪把船只上下拋跌，左右顛蕩……老天有眼，此時風勢有些減弱，浪濤有所收斂，小船只是輕微地晃蕩。他們3人慶幸自己可能死里
逃生，躺在船上，任隨風浪漂泊。
這時，天色已暗，夜晚已經來臨，四周黑漆漆一片，而風仍然在刮，雨仍然在下。他們不知身處何處海域，離東沙島有多遠，所以不敢貿貿然航行，擔心所剩不多的汽油耗盡而離島卻越遠。霍英東料想大工作船是會到處找尋他們的，于是他們干脆任由船只隨風浪漂游，等候大工作船的出現。
風浪的威脅是消除了，但他們並非完全脫離危險，因為東沙島海域時有鯊魚出沒，如果不幸遇上鯊魚，則他們必死無疑……這麼一想，霍英東不寒而栗。
小船又漂流了幾個時辰，仍然沒發現大工作船到來，看來他們是凶多吉少、白白等死了！
此時此刻，3個男子漢禁不住悲從中來，抱頭痛哭……
就在他們悲痛欲絕的時候，霍英東抬頭一望，無意間看到不遠處有一點光在搖曳，他猜想那可能是手電筒的光線，歡喜若狂，躍身而起，失聲大呼：
“我們得救了！我們得救了！”
經過長時間的風浪漂流，在茫茫大海、沉沉黑夜之中，突然間發現一束亮光，那種死里逃生的歡愉心情確實難以用語言形容。霍英東自己發動馬達，掌著船舵，迫不及待地向那點光亮之處風馳電掣般急駛……
那點微光之處，原來就是東沙島，一位船工拿著手電筒到岩邊察看停泊著的小船是否被風浪卷走，燈光搖晃，無意中救了霍英東他們3個人的性命。
那時，正好是深夜12點整——也就是說，霍英東他們在大海風浪之中已經漂泊了大約12個小時。
“這12個小時的經曆，是我一生中所遇到的最大的一次風險！如果不是那一點光，可能我們早已沉到海里喂魚了……”幾十年之後，回首這段驚心動魄的往事，霍英東仍然心有余悸，臉上甚至流露出談島色變的神態。