Brion Howard James, 20 Şubat 1945 tarihinde ABD'nin Kaliforniya eyaletindeki Loma Linda şehrinde dünyaya geldi. Çocukluğu sinema salonu işleten bir ailenin yanında geçti ve küçük yaşta filmlere aşık oldu. Liseden mezun olduktan sonra Ulusal Muhafızlar'da görev yaptı ve daha sonra San Diego Eyalet Üniversitesi'nde tiyatro eğitimi aldı. Yerel tiyatrolarda çalışarak oyunculuk kariyerine başladıktan sonra, Stella Adler'in öğrencisi oldu ve 1970'lerin ortalarında televizyon dizileri ve sinema filmlerinde küçük roller alarak-Hollywood'a adım attı.
70'li yılların sonundan itibaren, Brion James'in işkolu, televizyon dizileri ve sinema filmlerinde farklı karakterleri canlandırarak hızla büyüdü.