Šlo o syna zdravotní sestry Constance Jane (roz. Ferguson) a irského bookmakera Patricka Josepha O'Toolea. Navštěvoval katolickou školu, kde byl přeučen na praváka.
Rodina Peterova otce, dostihového bookmakera, pochází z irského královského rodu. Peter strávil mládí v Leedsu, kde navštěvoval klášterní školu sv. Anny a pak jezuitskou kolej. Ve čtrnácti začal pracovat jako balič zboží v obchodním domě…