Serge Merlin, 29 Aralık 1932 tarihinde Fransız Cezayir'in Sainte-Barbe-du-Tlélat kentinde doğdu. Yalnızca bir çocukluk ve gençlik dönemini bu bölgede geçiren Merlin, daha sonra Fransa'ya taşındı ve burada oyunculuk kariyerine adım attı. Oyunculuğa yöneldiği ilk yıllarda, çeşitli tiyatro topluluklarında yer aldı ve bu deneyimler sayesinde oyunculuk yeteneklerini geliştirdi.

Merlin'in sinemadaki ilk rolü 1960'ların ortalarında geldi. Kısa süre içinde karakterli rollere yerleşti ve Fransa'da öne çıkan yapımlarda yer aldı. Öne çıkan rollerinden biri de "La Cage aux Folles" adlı müzikal komedideki performansıydı.