Schloss Elsum ging aus einer Motte hervor, die wiederum in einem Hofgut ihren Ursprung hatte. Im Jahr 1280 war Franko von Elsum der Besitzer. Er stand 1288 in der Schlacht von Worringen auf Seiten der Verlierer und so kam der Hof Elsum in brabantischen Besitz. Der Herzog von Brabant belehnte 1325 den Edelherrn von Wassenberg mit dem Gut. Oft wechselten in den nachfolgenden Jahrhunderten die Besitzer und sie bauten es schließlich zu einem Schloss um.
Das Schloss ist eine zweiteilige Anlage, bestehend aus der Anfang des 16. Jahrhunderts erbauten Kernburg sowie der Vorburg, die zu Beginn des 17. Jahrhunderts entstand. Die Kernburg steht auf einer unregelmäßig viereckigen, künstlich aufgeschütteten und ummauerten Insel. Sie ist von der Vorburg aus über eine Brücke zu erreichen. Das Herrenhaus hat drei Türme. Auch steht auf der Insel neben dem Herrenhaus die 1860 erbaute Schlosskapelle im Stil der Neugotik.
Während des Zweiten Weltkriegs wurde Schloss Elsum im Januar 1945 fast vollständig zerstört. Ab 1952 erfolgte ein vollständiger Wiederaufbau und wurde 1955 beendet.
Das Schloss befindet sich noch heute in Privatbesitz und ist nicht zu besichtigen.
Tipp:
Ein kleiner Spaziergang in nördliche Richtung führt Sie zu einer Weidenallee. Viele Weiden sind auf natürliche Weise ausgehöhlt und laut einer Geschichte der Einheimischen hatte dies für einen Soldaten im 19. Jh. (Den Erzählungen nach ein französicher Soldat aus den Revolutionskriegen) unangenehme Folgen: Er versteckte sich in einer hohlen Weide, klemmte ein und erst Jahre später wurde sein Skelett entdeckt.
Achtung! Sollten Sie versuchen, in solch eine Weide zu klettern, vergessen Sie bitte nicht, anderen Bescheid zu sagen oder Ihr Smartphone mitzunehmen!