Spencer was born in West Stockbridge, Massachusetts. In 1840, he joined the Church of Jesus Christ of Latter Day Saints. He soon after baptized his brother Orson Spencer.
Před kamerou se poprvé objevil v roce 1983 v televizním filmu Through Naked Eyes. Jeho nejznámější rolí je Jame Gumb alias Buffalo Bill z filmu Mlčení jehňátek (1991).