Joe Pesci, 9 Şubat 1943'te Newark, New Jersey'de doğdu. İtalyan asıllı işçi sınıfı bir ailenin çocuğu olarak, küçük yaşlardan itibaren oyunculuk ve müziğe ilgi duymaya başladı. Beş yaşında New York'taki tiyatro oyunlarında sahneye çıktı ve on yaşında televizyon programlarında düzenli olarak yer aldı. Gençliğinde müziğe yönelerek "Joe Ritchie" adıyla bir albüm çıkardı, çeşitli gruplarda gitar çaldı ve komedi kulüplerinde stand-up denemeleri yaptı. Sinema kariyerine "The Death Collector" (1976) ile adım attı. Bu filmdeki performansı Robert De Niro'nun dikkatini çekti ve onun sayesinde Martin Scorsese ile tanıştı.