Huvudbyggnaden av sten, ursprungligen i tre våningar, påbörjades troligen på 1590-talet. Sedan Västanå förvärvats av Per Brahe d.y. 1641 och införlivats med Visingsborgs grevskap ombyggdes huvudbyggnaden och försågs bland annat med rikt dekorerade praktgavlar, vilka togs bort 1767–70. Vid en ombyggnad 1927–28 revs översta våningen, och det nuvarande valmtaket tillkom.