Genom Evangelisk-luthersk liturgik (1–2, 1874–85) och som den drivande kraften i arbetet på 1894 års kyrkohandbok medverkade Ullman till förnyelse av Svenska kyrkans gudstjänstliv; han räknas som portalgestalten för 1900-talets liturgiska förnyelsesträvanden i Sverige (jämför tidegärd). – Farbror till Gustaf Ullman och Sigfrid Ullman.