Rydberg tjänstgjorde 1906–35 vid Svea Ingenjörkår (Ing 1) i Stockholm som Ess-kornettist, från 1928 även som ledare. Rydberg, ibland kallad ”Sveriges marschkung”, skrev bl.a. ”Den svenske underofficeren” (1916) och ”På vakt” (1944).