Klein växte upp i en ortodox familj i Ungern och genomgick talmudskola. Under humanistiska studier i Heidelberg och Berlin utvecklade han sin teologi i liberal riktning. Han flyttade 1883 som rabbin till Stockholm; han föreläste över bl.a. Talmud vid Uppsala universitet 1885–86 och erhöll professors namn 1897. Klein betonade judendomens