Om det finns n = 2^m tänkbara meddelanden som alla är lika sannolika, definieras entropin som S = log₂ n = m och kan tolkas som antalet binära siffror som behövs för att definiera meddelandet. Om meddelandena däremot är olika sannolika kan medelantalet använda siffror i bästa fall