皇仁書院創立于1862年，最初名叫中央書院，俗稱“大書院”，是香港第一間官立學
校，其地位近乎英美的初級，校址在今日中環歌賦街、荷里活道。直到1889年，因人數增加，校址遷到鴨巴甸街，並改名為維多利亞書院，不久又易名為皇仁書院且一直沿用此名至今。皇仁書院以招收華籍學生為主，但也招收一些歐美及亞洲各國的學生。孫中山先生曾以“孫帝象”之名注冊，于1884年進入皇仁就讀兩年肄業。此外，國民黨元老廖仲愷、民初總理唐紹儀、財長陳錦濤、外長伍庭芳，以及何啟爵士、何東爵士、利希慎、劉鑄伯等一大批香港名流俊彥也曾在皇仁就讀。
“賭王”何鴻燊也在皇仁，但他是1933年入學的，比霍英東早3年。這兩位皇仁後來結為，並于20世紀60年代初期攜手進軍澳門賭壇，獨霸澳門賭業，成為澳門博彩業發展史上的一段佳話——當然，這是後話了。
皇仁是收取學費的，每個學生每月得交學雜費5元。在20世紀30年代中期，5元錢不算是一個小數目。雖然當時霍家的生活相對以往來講是安穩了許多，但還算是較為清貧的，故每月為霍英東支付5元學費，對于霍母劉氏來說可是一個不小的負擔。但劉氏說過，勒緊腰帶也要供霍英東讀書。
每天，劉氏都給霍英東一毫錢，讓他用來搭電車和吃午飯。但霍英東自小知慳識儉，為了節省每天來回的6分錢電車費，他每天早上提前動身，背著書包由灣仔經瑪利兵房、兵頭公園步行半個小時至鴨巴甸街的皇仁上學；下午放學後，又沿著上學的路步行回家。中午，他就花4分錢到學校旁邊的為食街(士丹利街)或小食店“三十間”吃糯米飯和大松糕。課間休息的時候，俊記的店員還在學校大門的鐵欄處向學生兜售雪糕和面包，但霍英東總是舍不得掏錢去買。
霍英東是個懂事的乖孩子。除了省吃儉用、減輕的經濟負擔外，很多時候，下午一放學，他就趕著回家，幫母親記駁運生意的賬目，或外出送發票，分派運費給舢舨客。閑時，他就躲在家里那間窄小、昏暗、潮濕的廚房里做功課。由于家境貧困、營養不良，加之居住環境惡劣，那時，霍英東的身體很孱弱。他知道身體一垮下去，就應付不了繁重的學業，所以他總是強迫自己要堅持運動，練出一副強健的體魄。
皇仁不同于敦梅，校內有一塊空地，可以供學生打排球、籃球，或者踢足球。但是入讀皇仁的最初兩三年，霍英東極少有機會在這個大球場上打球，因為這個場地多由高年班同學占用；一旦低班生侵犯高年班的場地，球兒會被人踢到鄰校——庇理羅士女校那邊去。
那時，霍英東最喜歡的運動項目是踢足球。據霍英東回憶，課間休息或放學之後，他經常和同班同學跑到校門口的一塊三角空地上踢球；有時三角空地被其他班的同學先占了，他們就干脆到學校廁所前面的走廊處，把橡皮球踢來踢去。
皇仁向來重視體育運動，班與班之間，老師與學生之間，時常有一些體育比賽；另外還時常組織校隊到外面與其它校隊比賽。霍英東曾一度代表校隊打排球，他打的位置是三排中。
皇仁的學生生涯，無疑是霍英東青少年時期最美好的一段生活記憶。當霍英東離開皇仁
48年之後，重返皇仁參加母校創校125周年紀念慶典的時候，他饒有情趣地向各界來賓和各屆校友回憶道：“在校時候，同學們最喜歡的有兩件事：一是下大雨，一是足球練習比賽。大雨淋濕了衣服，學校會突然宣布放假一天，每逢下雨，同學們就將衣服弄濕，要求放假；足球練習比賽，規定到銅鑼灣球場舉行，同學們個個興致勃勃，奔馳于球場之中，玩到精疲力竭，還舍不得收隊離開。”
霍英東好玩，但也很好學，所以在皇仁的幾年間，成績總是排在班上第一。有一次在
班里考了個第三，他還因此傷心得哭了一場。
被英國吸引
皇仁是用英文教學的學校，在那種環境下，英國的經典小說自然是不少學生的必讀作品。霍英東也一樣，他那時所能閱讀到的，大多也是英國作家的原版英文小說。
一天，在學校圖書館，霍英東無意間翻到英國作家笛福寫的小說《魯濱遜漂流記》。他對這本書很感興趣，于是就捧著站在書架旁翻閱起來。這部小說描寫水手魯濱遜，在他的船只蒙難後，漂落到一個杳無人煙的海島上，他頑強地過著離群索居的生活，與惡劣的大自然搏斗，最後在島上開辟出自己的樂園……雖然霍英東自小在海上長大、生活，但書中描寫的海島生活和曆險經過，于他而言還是那麼的新奇，那麼的富有吸引力。
不久，霍英東又讀到另一部同樣的描寫海上曆險故事的英國小說《金銀島》。這部由英國著名作家史蒂文生所著的小說，描寫一個名叫吉姆的男孩子參加探險，去尋找埋藏在一個遙遠海島上的財寶，經過無數次的險遇，吉姆終于到達了荒島……
吉姆是一個少年，而霍英東當時也正處豆蔻年華，所以吉姆的形象更容易被霍英東接受；而吉姆探險、尋寶的曲折離奇、險象環生的經曆，也自然地比魯濱遜的漂流故事，對霍英東更有吸引力。