Kaganovitj var aktiv som agitatör i Ukraina redan under tsareran och tog efter oktoberrevolutionen 1917, såsom en av Stalins förtrogna, plats i bolsjevikledningen. I egenskap av partichef i Ukraina 1925–28 och centralkommittésekreterare med ansvar för partiets kontrollkommission 1928–39 var han en drivande och hänsynslös kraft bakom de stora utrensningarna.