事實上，經過1967年的地產低潮之後，當時在香港，霍英東仍然可以說得上是手頭資金最為充裕、實力最為雄厚的地產商之一。也就是說，他從那時起，逐漸淡出地產市場，“非不能也，是不為也”。
相反，當霍英東逐漸淡出香港地產界之時，香港一些華資地產商卻乘勢而起。“六七”後，一些英資財團對香港前途缺乏信心，沒有作長遠發展的打算，因而未能充分利用其擁有的龐大土地和雄厚財力自行發展，而是傾向于將土地出售。一些華資商人，如郭得勝、李兆基、李嘉誠、胡應湘、鄭裕彤等，乘機大戰地產市場，並大有斬獲，業績斐然，財富劇增，成為香港地產行業的中流砥柱；連同原有的華資集團，到了70年代初期，華資地產商已強大到足以與英資分庭抗禮。而霍英東，卻只能眼巴巴地看著郭得勝、李嘉誠、李兆基等人，興建一個又一個屋村，大發其地產財。
不少人因此感歎說：“若不是港英政府與政府聯手施‘政治迫害’，則當今香港十大地產商之首，極有可能是早在五六十年代就執地產業牛耳的霍英東！”
港府不讓霍英東發展貨櫃碼頭
除了在地產業等限制霍英東不斷坐大之外，港府似乎還想在其它有發展前景、經濟效益很好的行業上，限制霍英東的發展。
據霍英東自己所述，他曾經是香港最早介入貨櫃碼頭經營的人士之一。
“那大概是1968、1969年，那時，世界貨櫃運輸業剛剛興起，香港也順應這個潮流，要在葵湧發展貨櫃碼頭，于是劃出葵湧的幾幅海邊地皮來發展。我和董浩云那時對此都有興趣，但顧慮也是有的。我擔心把碼頭搞起來後，沒有船來停泊，而他卻擔心搞貨櫃船之後沒有碼頭停泊，所以最初他不想把自己的貨船改為貨櫃船。”有一次，在對我談起與董浩云的關系時，霍英東主動提起這段並不太為人所知的往事。
“那時，港府推出葵湧一、二、三、四號四個貨櫃碼頭項目，最大的那個碼頭，也就是現在的一號碼頭，最早是由我一個人獨力投得的。我雖然沒有貨櫃船隊，但我當時計劃以私人公司形式經營公眾碼頭，我沒有船，但可以讓所有的貨船來停泊，就像機場公司一樣，自己沒有飛機，航空交通就交由航空公司，我只提供碼頭場地……”
“那後來為什麼又不做了？”我問。
“不是自己不想做，困難雖然有，但自己當然有信心，比如我和政府簽合同供應全港的海沙，幾十年來，從來沒有出現過沒有沙的情況。港府當時節外生枝，要我擔保，每年至少要有20萬個貨櫃箱在碼頭停泊，才能讓我做。其實，當時，整個香港也沒有20萬個貨櫃箱。”
“港府為什麼會提出這個要求限制你？”
“我當時對港府說，就當我是向政府買幅地蓋房，蓋了房之後，有無人住是我的事。又如我蓋寫字樓，你無理由要求我要保證有多少人來租用才給我發展。我是一個投資者，我投資建起了碼頭，有無貨櫃箱，是我自己的事，蝕本也是我自己蝕，不關政府的事。”
“說到底，政府是不想給你發展？”
“這是沒理由的，港府是出一些難題，不讓我做。所以，我干脆放棄了，後來港府轉給了幾個做貨櫃船的公司經營……”
而霍英東得而複失的葵湧第一號貨櫃碼頭，後于1972年5月建成啟用。
貨櫃運輸業發展迅速，並很快就成了世界運輸業的主流；香港也正是憑著擁有噸位大、服務一流的貨櫃碼頭等優勢，在20世紀70年代一躍成為世界海運中心之一。
貨櫃運輸業自興起之後，在短短20多年間，雖然幾經滄桑，其間又曾受到海運業出現大蕭條的世界性危機的嚴重沖擊，但貨櫃碼頭經營至今仍然呈現出蓬勃發展的勢頭。
霍英東因港府的歧視，失去了發展貨櫃碼頭的機會，也可以說是失去了一盤可能讓他財源廣進的大生意。
如果不是因為港府的歧視，說不准，霍英東在繼五六十年代成為香港“地產大王”之後，又有可能再成為貨櫃碼頭行業的巨頭。