Efter engagemang från 1937 hos bl.a. Jimmie Noone, Coleman Hawkins och Lionel Hampton slog Williams igenom som blues- och balladtolkare hos Count Basie (1954–61), bl.a. med ”Every Day I Have the Blues” i albumet Count Basie Swings, Joe Williams Sings (1955). Williams var därefter soloartist.