1965年，港府為活躍地產市場，向全世界公開招標，拍賣黃金地盤——海軍船塢。各國投資者因對香港地產市場前景缺乏信心，不敢下標，最後唯有霍英東一人獨力投標。但港府見此，卻臨時取消拍賣，收回地盤。霍英東清楚看到港英方面有意限制他的發展，因而萌發淡出商界之意。
獨力投標海軍船塢
在“六五銀行風潮”和地產市道一派蕭條的情況下，地產公司破產的破產，幸而不破產的也是偃旗息鼓，靜觀時勢；而霍英東卻異常勇猛，依然大戰地產市場。
那年，霍英東又開始動工興建聯利大廈、銅鑼灣珠城大廈、尖沙咀漆咸道高高大廈，以及青山道62號、城南道53號至55號和官塘云漢街23號住宅樓宇，其中珠城大廈為霍英東與何鴻燊等人合資興建，里面有後來被邵氏家族購買後改名為翡翠和明珠兩家電影院，當時由霍英東自己經營，除放映一些港產片外，還放映西片。據霍氏集團一名老資格職員所言，准備出售珠城大廈時，霍英東特別交待他，珠城大廈的樓盤交由胡漢輝的利興物業公司出售。他說，霍英東和胡漢輝那時關系很好，霍生這樣做，無形中是幫胡漢輝一把。
1965年，港府為了活躍一下沉悶、蕭條的地產市場，推出海軍船塢地皮，公開招標。海軍船塢地皮位于金門大廈至警察總部之間，即現今金鍾地段，面積達27英畝，是港府曆來公開招標的地皮中位置最好的黃金寶地之一。
為了吸引外國地產商參與競投，港府除了在香港大賣廣告外，還在倫敦和紐約的報刊登載廣告，但當時國際上對香港地產市場一致看淡，故沒有一個國外投資者下標競投；而在香港，不少地產商已是驚弓之鳥，談起地產皆驚魂失色，故也沒有人問津。
此時的霍英東，卻認為這是難得的投資良機，于是逆市而行，下標競投。結果，落標競投者，只有霍英東一個，在沒有任何競爭對手的情況下，霍英東本來可以以較低價錢輕而易舉地投得海軍船塢的發展權。
但結果卻出乎霍英東意料之外。港府最後答複霍英東說：只有你一個人下標，這塊地我們不打算賣了，收回來。
港府臨時收回地皮
1995年7月的一天下午，在中區霍氏集團寫字樓里，霍英東和我談起這段至今已整整30年的往事。他站在辦公室的窗口，指著右前方力寶中心、海富中心一帶對我說：“這一片，都是海軍船塢地皮，27英畝，100多萬英尺……”
“當時你下標多少？”
“那是地產最低潮時期，地皮不值多少錢，標價不高，好像只有幾千萬港幣。”
“港府到底基于什麼原因把地皮收回？”
“當時，情況很複雜。當然，港府有權取消競投。但我覺得，港府是向世界各國招標，到、英國、登廣告，鼓勵外國人下標。那些日本仔到香港來，港府還專門舉行酒會招待他們……”
“全世界都不看好香港的地產市道，為什麼你還是一定要下標？”
“開始招標時，地產市道還算可以，但不久就發生銀行擠提風波；到截標時，地產已經陷入低潮。那時，要下標，就要先交600萬元按金。可能很多人拿不出來，連‘置地’都不敢下標。”
“港府最後把地收回，有無說明是什麼原因？”
“沒有……”
“你當時有無埋怨港府這樣處理？”
“沒有……當然，政府有權棄權……”
“但你剛才說港府到處去找人來投標，到處做廣告，但你下標了，卻又把地收回去，政府是不是有意針對你，不讓你獨大？”
“那就不好說了……”
事隔多年，談起港府當年何以取消競投，霍英東欲言還止，沒有講明原因。但言語之間，還是隱約聽出他覺得政府處事不公，並對港府的處理方法略有不滿。
經過多年發展，海軍船塢一帶早已成為香港最繁榮的商業區之一。按一般人的理解，若港府當年不是臨時取消這塊地皮的競投，則霍英東從中賺到的錢將是難以估量。但是，有一些人並不這樣認為。
有一次，我和新華社香港分社一名官員談及此事。
我說：“如果霍英東當年投得海軍船塢，他的財富可能成幾何級數倍增。”
“那未必。”他淡然說。
“為什麼這樣說？”
“以後要賣地、自己發展、蓋樓，港府不知怎樣玩(刁難)你，說這樣不行，那樣不行，可以玩死你的。”
“港英方面為什麼要這樣對待他？”
“主要還是朝鮮戰爭的那段經曆，我們認為是的商業行為，港英方面卻說是走私，一直對他有歧視。”
這是霍英東涉足地產行業以來，經曆的第二次打擊。第一次于1955年，被傳遞解出境，此事至今尚沒有任何證據證明是港府所為；而這次，卻是港府歧視霍英東的第一次公開行為。
海軍船塢投而不得，固然對霍英東沒有造成任何經濟損失，但對他的打擊卻很大。通過此事，霍英東清楚地看到港府對他有歧視，有意限制他的事業的發展。他因此很擔心，不知道港府下一步怎樣對待自己。也可能是從此開始，霍英東萌發了隱退的想法。