圖：吳耀漢與現任妻子。
吳耀漢的父親是九龍巴士及九龍殯儀館的創辦人之一吳海霖（吳錦銘）。吳錦銘（1902-1960），惠陽人，字東海，號海霖，生前任九龍殯儀館董事長、旺角新雅大酒店董事兼監督、惠明洋行董事、同源公司及東成公司董事。
吳海霖生前與家人住在尖沙咀山林道3號，他共有4位夫人，11個兒子和5個女兒。作為二房幼子，吳耀漢在16名兄弟姊妹中排行第8，母親於他9歲時離世。吳耀漢曾表示：「媽咪死後，我歸大媽管，她根本不疼我，對我非常冷漠。」
吳耀漢在7歲時被送到寄宿家庭。即使周末可以回家，他也寧願留在學校釣魚。而他在15歲時被大媽送到英國的寄宿學校，一個人在異國他鄉也同樣遭受欺凌。他說，一個人離開香港到陌生環境真的很孤獨，周圍的人和事物都是挑戰，從小就沒有家庭的溫暖。
吳耀漢的三女一子中，兒子吳嘉龍亦同為演員，曾參演不少電影。三位女兒鮮有公開露面，大女二女曾於2021年因涉大麻案被捕，對此吳耀漢在後來接受傳媒訪問時，唏噓無奈表示：「無嘢擔心，係咁㗎喇。唉！點講呀？無嘢，根本上無嘢呀。一一接受，唯一辦法。」
