Under senmedeltiden tillhörde Tynnelsö biskopen i Strängnäs. Av en stenbyggnad möjligen uppförd ca 1300 återstår källaren. Stenhuset på- och tillbyggdes vid 1400-talets slut av biskop Kort Rogge, och flera synliga fasadblinderingar av tegel – bl.a. en med kalkmålning – härrör från denna tid.