從20世紀80年代中期起，霍英東就決定逐漸淡出澳門博彩業。繼辭去已當了20年左右的娛樂公司董事長的職務，又宣布把家族股份劃入基金公司，並一度打算把股份賣出去……
辭退董事長職務
可能連霍英東自己也沒想到，博彩業會給他帶來源源不盡的財富。但由于他向來對博彩業有看法，故而經營博彩業雖然獲利甚豐，也未能讓他有滿足感和感。這一原因也促使他早就有了逐漸淡出澳門博彩業的打算。到了80年代中期，當他在全國政協、人大機構擔任職務之後，逐漸淡出博彩業終于有了實際的行動。
1986年，霍英東宣布不當澳門旅游娛樂公司董事長一職，改由剛取代葉漢而入主賭壇的香港另一富商鄭裕彤出任。霍英東的這一行動，可以視為他淡出澳門博彩業的第一步。
就霍英東何以選擇那個時候掛印封刀、不當董事長這個問題，我曾與他有過一番交談——
“你認為開賭場，與你的人大、政協職務是否有沖突？”
“開賭，肯定是不好的，但也不是很壞，比如香港馬會，沒有一定的地位、影響力，還不一定能當馬會的董事。有些事很難解釋清楚，當時我是想將一件壞事變成好事，而且真是這樣與政府簽約的。”
“為什麼主動辭去董事長的職務？”
“有些事，我不是很明白。本來娛樂公司與澳府只有8年的賭約，但澳府卻一簽再簽，好似延長了24年。”
“還跨越了1999年……”我插話。
“是的。那時澳府要和何鴻燊簽約，把賭約延長跨越1999年。我覺得好像沒有什麼道理。當時李耀祺很反對，我不清楚這是怎麼搞的……”
從霍英東的這些話中可以清楚得知，他在1986年辭去娛樂公司董事長職務，與那一年娛樂公司和澳督簽署跨越1999的賭約有直接的關系。
那年9月29日，澳門政府主動提出，要與娛樂公司簽署博彩專營合約的補充合約，批准將娛樂公司的專營權延長5年，即從1997年1月1日開始，延至2001年12月31日滿。中方對這個補充合約跨越1999年，極為不滿，認為是葡國政府搞“小動作”。這個賭約修訂之時，正值中葡雙方在就澳門前途問題舉行談判，葡國要求把歸還澳門的日期推延至2003年，而中方則堅持在20世紀內收回澳門。在這個敏感時刻，澳府將娛樂公司的博彩業專營權延長5年，超過中方提出的“20世紀之內”，中方對此深表不滿，李耀祺等一些中方駐澳門官員猛烈抨擊澳府；中方駐澳官員和親中人士還拒絕出席娛樂公司成立25周年的盛大酒會，以此行動杯葛澳府和娛樂公司。
霍英東既是娛樂公司的董事長，又在全國政協、人大任要職，與中方關系極其密切，這個時候，他的處境自然很尷尬。他雖然不贊成娛樂公司和澳府延長專營期，但又不能阻止雙方簽約，惟一能做的就是逍遙于娛樂公司之外。霍英東早就有了退出娛樂公司的打算，如今既然處境如此尷尬，他于是毅然辭去董事長一職，而且連董事的職務也辭去了。
把賭場收入劃入基金會
除了辭去董事長和董事的職務，霍英東當時甚至想把他持有的股權轉讓出去，徹底地退出娛樂公司，退出澳門博彩業。
澳府與娛樂公司簽訂的補充合約，除了延長娛樂公司的專營期外，還規定：娛樂公司的股票可以上市，可以自由轉讓股票，股票總值占該公司資本25%，任何股東不能擁有超過此等股票的10%。那時，澳府正籌劃在澳門成立股票交易市場，吸引本地公司和海外公司掛牌上市，以繁榮澳門經濟。何鴻燊還參與了澳門證券市場的籌備工作。他當時打算把娛樂公司拿到香港或澳門上市。
霍英東一直不贊成娛樂公司上市，但他認為，若上市，那就是他完全退出博彩業的最佳時機。
“那時，我已經表態，股份值多少錢我都不要了。我甚至已和何鴻燊等人談好，以6億港元價錢賣給他們。”霍英東回憶說。
但是後來，澳門成立證券市場的事不了了之，娛樂公司到香港上市的計劃也因種種理由未能如願，結果，娛樂公司的上市計劃也因此擱置下來。那時，霍英東已經成立“霍英東基金會”，致力于的改革開放、經濟建設、體育、和慈善事業。經過一番深思熟慮，最後他對娛樂公司的股份重新處理，把它劃進“霍英東基金會”。
我曾問他：“為什麼做出這樣的安排？”
霍英東說：“把娛樂公司的收並入基金，並不是想洗脫開賭公司的收入，而是取之于民，用之于民，這些收入是公開的……”
“你們有無核算過，整個娛樂公司總資產值多少錢？”
“沒法算。因為賭場若停止營業，船、酒店也就可能虧本，公司可能變成負債……”
“那你現在還打算不打算把自己持有的股權賣掉？”
“我現在都打算賣的。”
“有沒有人與你談過這個問題？”
“不會有人買的……”
霍英東和何鴻燊互談對方
雖然霍英東和何鴻燊當初介入博彩業的出發點不盡相同，但可以這樣說，在澳門旅游娛樂公司里面，他們兩人是一對很好、很成功的組合。他們在澳門賭壇的合作之所以成功，最主要的一點是兩人都清楚對方的性格和優勢，既為自己正確選定在公司里扮演的適當角色，也盡可能讓對方充分發揮自己的影響力和潛能。