Juppé blev i slutet av 1970-talet nära medarbetare till Paris borgmästare Jacques Chirac och invaldes 1986 i nationalförsamlingen som företrädare för dennes nygaullistiska parti RPR (Rassemblement pour la république). Han var därefter budgetminister 1986–88, generalsekreterare i RPR 1988–95 samt utrikesminister 1993–95 i den regering som leddes av Édouard Balladur.