Efter utbildning i Pisa kom Rubbia till Columbia University i New York 1958. Han utförde där en lång rad undersökningar av den svaga kraft (svag växelverkan) som bl.a. ansvarar för atomkärnors radioaktivitet. Omkring 1960 flyttade Rubbia till CERN och deltog i experiment vid så gott som alla de nya acceleratorer