Ekolsund nämns redan 1307 och ägdes under medeltiden bl.a. av ätten Oxenstierna. Den befästa huvudgården låg under medeltiden på en holme i Hjälstaviken och ägdes från 1542 av Gustav Vasa. Gustav II Adolf skänkte 1624 Ekolsund till Åke Tott, som flyttade huvudgården till dess nuvarande plats.