Köhler disputerade i nationalekonomi vid universitetet i Tübingen 1977. Därefter arbetade han inom de västtyska finans- och ekonomiministerierna, innan han 1993 påbörjade en karriär inom bankväsendet. År 2000 utsågs Köhler till chef för Internationella valutafonden (IMF) efter att ha nominerats till posten av Gerhard Schröder.