Tillsammans med Ito Hirobumi begav Inoue sig 1863 till Storbritannien för att studera västerländskt statsskick. När han vid hemkomsten ett år senare argumenterade för att Japan inte skulle möta de utländska kolonialmakterna med vapen överfölls han och skadades av uppretade samurajer.