Jean-Pierre Marielle, 1932 yılında Dijon, Côte-d'Or, Fransa'da doğmuştur. Babası bir doktor, annesi ise öğretmendir. Marielle, ilkokuldan sonra Dijon Üniversitesi'nde felsefe ve edebiyat eğitimi almıştır. Oyunculuğa ilk adımlarını 1950'lerde, Paris'in tiyatrolarında yapmıştır. İlk film rolü 1960 yılında "Le Bel Âge" filminde oynamış, ancak ilk büyük çıkışını 1963 yılında "Les Parapluies de Cherbourg" filminde oynamıştır.

Marielle, 1960'lar ve 1970'ler boyunca birçok filmde önemli rollerde oynamış ve birçok övgü alınan performansı ile tanınmıştır. 1972 yılında "Le Gendarme et les Extra-Terrestres" filminde oynadığı rolle tanınmış ve bu filmde oynadığı rolün ardından Fransa'nın en popüler komedi yıldızlarından biri olmuştur.