Fred Willard, 1933 yılında Ohio, Shaker Heights'te doğdu. Gençliğinde tiyatroya ilişkin bir eğitim almaya ilgi duymuştu. İlk oyunculuk tecrübelerini bu alanda kazandı. Bu eğitim ve deneyimler, daha sonraları ekranlarda yansıtacağı karakterlere katkıda bulundu. Profesyonel kariyerine komedi alanında adım attı.

Fred Willard, 1960'lar ve 1970'ler arasında televizyon dizilerinde ve sinema filmlerinde rollere imza attı. En bilinen rolü, Gary Shandling'in "The Larry Sanders Show" adlı dizisinde Frank "Conn" Ochs karakterini canlandırmasıyla geldi. Bu rol, onun kariyerindeki önemli bir dönüm noktası oldu.