Oliver Milburn, 25 Şubat 1973'te Dorset, İngiltere'de doğdu. Eğitimini Dragon School ve Eton College'da tamamladı ve burada Double Edge Drama adlı drama grubunun üyesi oldu. Oyuncu olarak formal eğitim almadan, 1992'de ITV yapımı Families dizisinde Matthew Bannerman karakterini canlandırarak kariyerine başladı.
Milburn, kariyeri boyunca çeşitli televizyon ve film projelerinde yer aldı. En önemli film rollerinden biri, 2005 yılında Neil Marshall'ın yönettiği Cehenneme Bir Adım filminde Paul karakterini canlandırmasıydı. Ayrıca 2006'da Bill Nighy ile birlikte Driving Lessons filminde Peter karakterini, 2011'de Andrea Arnold'ın yönettiği Uğultulu Tepeler filminde Mr. Linton karakterini canlandırdı. Televizyonda ise, 2015-2016 yılları arasında E! kanalında yayınlanan The Royals dizisinde Ted Pryce rolüyle tanındı. The Crown dizisinin dördüncü sezonunda Chris Patten karakterini canlandırdı.