Ellinge är känt sedan 1200-talet. I den nuvarande huvudbyggnaden, av sten i två våningar, tidigare östra längan i en kringbyggd borg, ingår delar från 1500- och 1600-talen. En tredje våning revs vid en ombyggnad under 1700-talets förra del. En tornartad tillbyggnad uppfördes 1854 och en omfattande restaurering och upprustning genomfördes