John Cazale, 8 Aralık 1935'te Boston, Massachusetts'te doğdu. Çocukluğu Massachusetts'in Cambridge şehrinde geçti ve lise eğitimini orada tamamladı. Cazale'in oyunculuğa olan ilgi, lise yıllarında tiyatro kulübü aracılığıyla başladı. Ardından Harvard Üniversitesi'nde tiyatro alanında eğitim aldı ve burada yeteneğini geliştirdi.
Cazale'in sinemadaki ilk büyük rolü, Francis Ford Coppola'nın "The Godfather" trilogy'sindeki Fredo Corleone karakteriyle geldi. Bu rol, Cazale'in sinemada yerini kazandığı en önemli ve hatırlanacak performanslarından biri oldu. Cazale, "The Godfather" trilogisi dışında da birçok önemli filmde oynamaya devam etti, örneğin "Dog Day Afternoon", "The Conversation" ve "The Deer Hunter".