日軍侵占香港，霍家的生活再次陷入危機中。18歲的霍英東是霍家惟一的男子漢，挑起了家庭的重擔。在輪船上做火夫，在太古船塢做打鐵工，在啟德機場做苦力……跟開車師傅做學徒，偷學開車，遭人毒打。
第一份職業——鏟煤工
霍母劉氏從事煤炭駁運經營，賺取微薄的傭金；由于勤儉省用，幾年下來，倒也積攢了一些錢。于是，劉氏與別人合伙，購置了一艘名為興和的小火輪，用于駁運貨物。
日軍占領香港以後，在香港實行鐵蹄統治。煤炭貿易不能如常進行，霍家的收入也大受影響。不僅如此，霍家的興和小火輪還被日軍強行征用了，霍家的生活又面臨新的危機。有一段時間，霍英東還把家里一些值錢的東西，拿到街上擺賣，以換幾個錢維持生計。
那時，霍英東已經18歲，是霍家惟一的男子漢。在已沒有機會繼續上學的情況下，在家貧如洗的處境下，他不得不考慮：要盡快找一份工作，挑起家庭的重擔。
不久，霍英東找到了一份工作，到輪船上去做火夫。輪船是燒煤的，霍英東負責鏟煤燒火。鏟煤工，就是霍英東的第一份職業。輪船的火爐在船艙底部，爐口不斷噴吐著火苗，站在那里，又熱又悶。霍英東掄著鐵鏟，站在爐口，把原煤一鏟一鏟地投進爐膛里。在這攝氏40多度以上高溫的環境下干活，霍英東像一個落湯雞一樣，滿頭、滿臉、滿身大汗，衣服全都濕透了。鏟煤這種單一重複的機械動作，雖是一種體力活，但光有體力不行，還得掌握好技巧和節奏：鏟里的煤炭拋進灶膛太急，會壓著火勢，甚至會令火舌熄滅；而拋得太慢，卻又會使火爐失去火力，火勢接不上。
霍英東雖是窮人家的孩子，自小吃苦耐勞，但也極少干重體力活，加之他當時身體孱弱，所以鏟煤這份工作，他干得非常吃力。每天從早到晚，站在火爐口，被熱氣煎熬著，灼熱難耐，又苦又累。這時，他咬咬牙，就熬過去了。晚上放工，拖著疲憊不堪的身子回到家里，腰酸骨痛，全身像散了架似的，倒下床就呼呼入睡了。
鏟煤燒火雖然苦不堪言，但霍英東還是想干下去，因為他這份工的薪金雖低，但也能幫補家里。誰知，老板對他的表現不甚滿意，于是在裁員時就趁機把霍英東給解雇了。
啟德機場當苦力
被老板解雇了，一時又找不到工作，霍英東無所事事地在街上游游蕩蕩了幾天。一天，他聽說太古船塢需要苦力，于是便花了10元日本軍票，托人介紹他到太古船塢干活。太古船塢是英資太古集團屬下的資產。太古集團是英國的約翰·施懷雅家族，于19世紀中
葉創立的，至今仍然是香港最大的洋行之一。1911年，太古集團以每英尺3仙的價格，向香港政府購入52英畝的荒地，然後曆經8年的開發建設，終在這荒地上建成太古船塢。除維修太古集團屬下的船只外，太古船塢也為客戶制造新船。1941年，盟軍在日軍入侵香港前毀壞了太古船塢的一些設施和船只；日軍占領香港之後，就整修船塢和船只，以備自用。
霍英東是在這樣的背景下到太古船塢干活的。初進船塢，霍英東干的是打鐵工。別人用鐵鉗把鉚釘鉗住，他就掄起大鐵錘，使勁地往鉚釘上打，稍不小心，就會打到別人手上。這種打鐵工，既要求出盡力氣，又要求鐵錘打准鉚釘，極不容易。霍英東擔心自己干不好，只干了幾天，就托人介紹他進船塢的風炮鉚釘處干活。他認為風炮工比鐵錘工容易干一些，誰知，當他第一次掄起叭叭作響的風炮時，雙手就被震得不停發抖，完全不聽自己使喚。他知道自己干不來這種重活，所以識趣地自動離開太古船塢，另謀生計。
不久，日軍公開征集大量勞工，擴建啟德機場。啟德機場是香港大律師何啟和商人區德于1924年投資興建的。1941年底，日軍入侵香港，啟德機場首當其沖，遭到日軍的狂轟濫炸。日軍進占香港後，就決定大規模清拆九龍城寨和宋王台，擴建啟德機場。經在機場做事的介紹，霍英東進了機場當苦力。
霍英東回憶說：“我記得，在啟德機場打工，每天工錢是7毫半。當時糧食奇缺，機場每天給每人配給6兩米，但須從工錢中扣去兩毫，故每天工錢實得5毫半。機場在九龍半島，我家住在港島灣仔，從灣仔到九龍須坐輪渡過海，每趟一毫錢，來回兩毫錢，那是怎麼也省不得的開銷；至于其它陸上路段，我就步行。每天花在步行上的時間，至少要兩個小時以上……”
說到這里，霍英東感慨地說：“7毫半錢一日，我想全世界都沒那麼低的工資，扣掉糧錢和過海輪渡的錢，只得3毫半，但這3毫半錢其實也不夠我乘坐來回家里和碼頭的巴士，所以我只好行路……。”
每天上午到機場，霍英東會先拾些樹枝生火，煮些稀粥填肚子，接著就出賣體力，在日軍的監視下干活，絲毫不能偷懶懈怠，否則就得受日兵的槍托、皮鞭、木棍抽打之苦。中午吃飯時間，霍英東肚子轆轆作響，他就隨便買點松糕充饑。按照自己的飯量，他是要吃上七八塊松糕的，但為了省錢，霍英東每餐只是花一毫錢買兩塊松糕。到了傍晚時分，放工了，已經筋疲力盡的霍英東，還得步行回家。他自己回憶道：