Jeho matka Cornelia James byla proslulá svou výrobnou rukaviček pro královnu Alžbětu II., kterou řídila společně s jeho otcem Petera Jamese, který pracoval také jako účetní.
Peter James se narodil do rodiny, která velmi respektovala umění i řemeslo. Jeho maminkou byla Cornelia James. Ta vyráběla rukavičky pro Královnu Alžbětu II.
Začalo to náhodným setkáním se spolužákem v restauraci, který mladé archeoložce Francesce Monsantové pověděl o smrti jednoho z jejich společných přáte... od Peter James