Jimmy Smits, 9 Temmuz 1955'te Brooklyn, New York'ta doğdu. Küba göçmeni bir ailenin çocuğu olarak dünyaya gelen Smits, Brooklyn Teknik Lisesi'nden mezun olduktan sonra, New York Şehir Üniversitesi ve Cornell Üniversitesi'nde tiyatro eğitimi aldı. Oyunculuğa ilk adımlarını tiyatrodan atmış, ancak daha sonra televizyon ve sinema filmlerinde de yer almaya başlamıştır.
Smits'in en belirgin rolleri arasında "NYPD Blue" ve "The West Wing" dizilerindeki karakterleri sayılabilir. "NYPD Blue" dizisinde canlandırdığı Bobby Simone karakteriyle Emmy Ödülü'ne aday gösterildiği gibi, "The West Wing" dizisinde Matt Santos karakteriyle de büyük övgü topladı. Smits, kariyeri boyunca birçok ödüle layık görüldü ve sinema dünyasında büyük saygınlık kazandı.