霍英東的立信叱咤地產行業，有榮公司卻在香港大搞市政和海港工程，並獨霸香港的海沙采集和供應權，霍英東也因此被人稱為“海沙大王”。但由于種種原因，淘沙業最終成為失敗的生意。
一百多萬元購大挖沙船
1961年11月，也就是“廖寶珊事件”之後幾個月，霍英東應邀前往英國3個星期，考察英國的和建築事務。
那時，霍英東聽說泰國政府港監部門有意出售一艘巨型挖沙船。這艘船名曼哈頓號，原是政府用以援助泰國挖湄公河河床，以利黃金半島海面交通暢順的。這是一艘有曆史紀念意義的船只，因為當初泰國政府接收曼哈頓號時，適逢泰國發生政變，披汶總理及舊政府高級官員多人，曾被海軍將領扣留于此船多日，後來總理及隨員等逃離此船。
結束英國的考察行程，霍英東專程從英國飛往泰國首都曼谷，與泰國政府港監部門洽談購買曼哈頓號挖沙船事宜。此船長288英尺，載重2890噸，每20分鍾可入海底挖取泥沙2000噸，然後自動卸入船艙中。其性能之優良、生產效率之高，在當時實屬罕有。霍英東有意購進此船，提高有榮船務的挖沙機械化程度和淘沙產量。
經過一番討價還價，霍英東最後以泰幣400萬銖(約港幣120萬元)購得此船。當時，一個八九百英尺的樓宇單元也不過是幾萬港元，故120萬可以說是一筆巨大的款額。重金購買此船，可見霍英東對淘沙業雄心勃勃。
1961年12月上旬的一天，曼哈頓號挖沙船駛抵香港，霍英東將之改編為“有榮二號”。由于此船乃當時香港最大型、最先進的挖沙船，故當它抵達香港時，引起港人的關注，不少報章還刊文報道此事。
霍英東是在朝鮮戰爭生意結束後，從事淘沙生意的。“有榮”是他用以經營淘沙業的旗艦。
據霍英東回憶，初時他們招請大量的駁運工人當鏟沙工。挖海沙相當苦，用手工操作，鏟沙很吃力，產量不高。這些鏟沙工是臨時招請的，每逢煤炭船一到，他們就轉去運煤，淘沙工作就得暫停下來。
有感于此，霍英東就改臨時招請工人為招標挖沙，與幾十個駁船的船主簽訂挖沙合同，一立方米海沙約支付3元多港幣，霍英東則先支付一年工錢給船主。但船主大多都不能按量完成挖沙指標，霍英東支付的工錢扣不完，尚有余欠；而船主卻要求再借第二年的工錢，霍英東又不能不再承包給他們，故預支款總還不清，這樣一來，霍英東獲利甚少。
霍英東意識到只有減少挖沙工，提高挖沙產量，淘沙生意才能大有可為。他從海軍船塢買來一台挖沙機器，用機械操作，效率大大提高。之後，他又進一步改用機船挖沙，並派人到歐洲重金購進一批先進的挖沙機船，並收購了美國人經營的太平島船廠和荷蘭治港公司的全部機器設備。
霍英東是在20世紀50年代後期收購太平島造船廠的。據說，這是香港人收購外國公司的第一例。
至于後來包玉剛收購九龍倉、會德豐，李嘉誠收購和黃，則是20世紀80年代的事。
淘沙的生意額少之又少
由于霍英東獨霸淘沙生意，在這方面投入大量人力、財力、物力，故曾被人譽為“海沙大王”、“淘沙巨擘”。這盤生意看起來規模雖然很大，但涉及的生意額卻少之又少。據霍英東說，這盤生意每年的營業額只有幾十萬，最多的時候也不足100萬元港幣。
“營業額這樣少，即使有賺，也是極之有限，那你為什麼要經營這盤生意？”我曾經問霍
英東。
他說：“本來不是我做的。我有個堂，較早前就搞海沙生意，但一直很困難，沒什麼賺，我就幫他，這樣才介入的。這種生意很難做，問題很多，比如一些工人很惡，他們不喜歡你用機械挖沙，一定要用人工鏟，而且霸住地盤，不讓你用機械挖沙，你一點辦法也沒有；等到他年紀大了，鏟不了沙了，他就坐在那里收你的錢。”
“外界一直說你有海沙的專營權，真實的情況是怎樣的？”
“其實不是專賣，我們也沒有什麼專營權，政府每年都劃定采沙地點，公開招標，只是因為我們有榮公司有優越的條件，才連連中標。也就是說海沙由政府專賣，我們公司只是負責采沙和收購海沙，然後統一賣給政府，再由政府統一賣給用戶，管理很嚴格。我們與政府是有合同約束的。”
“為什麼港府對海沙的管理如此嚴格，一定要實行專賣？”
“我想，一來，因為政府要保護海灘；二來，海沙是礦產，里面可能還含有黃金，故政府在放開煤炭、糧食之後，仍然不放開海沙，實行專賣經營。”
20世紀50年代，香港地產業蓬勃發展，興建樓宇需要大量海沙，填海造地也需要大量海沙，幾乎全部由有榮公司采集、運輸和供應。港府在新界和離島為有榮公司提供多處堆沙場所，而有榮公司還專門在新界設立一家公司負責海沙的采集、運輸和供應。那時，霍英東時常驅車或坐船前往各堆沙點和淘沙處巡視。
由于大量采挖，香港地區沙源減少，有些居民還說挖沙“破壞風水”，反對在沙灘挖沙。有榮到離沙灘較遠的海上挖沙，但成本增加很多。于是，霍英東又轉移陣地，到內地找沙源。