Redan i sina första diktsamlingar, Privat O (1967) och Ut med språket (1968), framstod Ortman som en originell poet, på en gång humoristisk och samhällskritisk. Bland hans senare diktsamlingar kan nämnas Ögla (1999), Gnistgömma (2001), Det måste vara själen (2003) och Splits: En kärleksdikt