Baker iniziò a suonare la tromba all’età di 13 anni. Inizialmente, la sua ispirazione veniva da artisti come Roy Eldridge e Harry James, ma da adolescente scopri la musica di Charlie Parker e Dizzy Gillespie e iniziò a sviluppare il suo proprio stile. Nel 1949, all’età di 20 anni, si trasferì a Los Angeles e si unì al gruppo di Gerry Mulligan. Fu con Gerry Mulligan che Baker fece il suo primo grande successo con la canzone “My Funny Valentine”.
Il suono delicato ed espressivo di Baker sulla tromba, unito alla sua voce morbida e sensuale, gli conferì grande successo. Era considerato uno dei musicisti jazz più belli, con un fascino naturale che lo rendeva incredibilmente popolare tra il pubblico femminile.
Baker cercava costantemente nuove sfide musicali e dopo aver registrato una serie di album riusciti, nel 1956 si trasferì in Europa dove fu accolto calorosamente dal pubblico. In Europa si incontrò con musicisti del calibro di Enrico Pieranunzi, Renato Sellani, Pino Presti e Stefano Bollani e iniziò a sperimentare con il suo suono, incorporando elementi di musica classica e sperimentale nel suo stile.
Nonostante il suo grande talento musicale, Baker aveva una vita privata turbolenta che spesso rifletteva nella sua musica. Era noto per il suo abuso di droghe e alcol, che lo portò spesso in difficoltà legali e problemi personali. Tuttavia, anche in mezzo alle difficoltà, Baker continuò a suonare e creare musica di altissimo livello.
Nel 1988, Baker morì tragicamente cadendo dal balcone del suo hotel ad Amsterdam. La sua morte fu commemorata in