Baker etablerade sig som filmstjärna på 1950-talet. Som boxare hade han byggt upp ett muskulöst yttre, vilket underströk hans tufft handlingskraftiga karaktär. Till Bakers främsta insatser hör roller i Joseph Loseys ”Den kriminelle” (1960), ”Eva” (1962) och ”Kraschen” (1967).