Lagmansö är känt sedan 1300-talet. Huvudbyggnaden, av sten i två våningar under valmtak, byggdes 1771 och ombyggdes 1864. Av de båda paren flyglar i en våning under brutna tak har det innersta tillkommit 1762 och det andra 1772. Sedan 1678 innehas Lagmansö av släkten Falkenberg.