Über die Entstehungsgeschichte der Wasserburg Zelem lässt sich die Vermutung anstellen, dass sie als fränkisches Bollwerk gegen die niederländischen Eindringlinge um die Jahrtausendwende entstanden ist.
Einer ihrer frühen Besitzer, Dietrich von Horn, entstammte der mächtigen Familie der Pfandbesitzer von Kranenburg, die im Erbfolgekrieg mit Kleve um die Eigenständigkeit Kranenburgs kämpften. Dietrich selbst war Pfandinhaber zu Kranenburg in der Zeit von 1347 bis 1368. Zur gleichen Zeit war er auch mit dem Besitz von Zelem belehnt.
Obgleich er sich “Herr zu Kranenburg” nannte, übte er jedoch nicht die immer noch Kleve obliegenden Hoheitsrechte aus. Seine unbestrittenen Leistungen aber liegen in der Einführung des Deichprivilegs von Kranenburg.
Die genauen Besitzverhältnisse lassen sich ab der ersten Hälfte des 14. Jahrhunderts bis heute feststellen. 1377 ging das Leben an Hermann von Eyl als Offenhaus von Kleve.Indem ein adeliger Burgherr seine sich im freien Besitz befindliche Burg gegenüber einem mächtigeren Herren (meist Landesherrn) zum Offenhaus erklärte, unterwarf er sich dessen Hoheit und räumte ihm das Recht ein, jederzeit in seine Burg einzureiten und diese in seinen Fehden zu benutzen. Verträge dieser Art waren mit entsprechenden Gegenleistungen (Lehen) verbunden.Die Familie Palant führte die größten Umbauarbeiten an der Wasserburg durch. Elbert von Palant war klevischer Erbmarschall. Dieser ist in der Inschriftzeile über dem Portal verewigt. Dort heisst es, dass der Graf von Alpen diese Burg erbaut habe und der Elbert Freiherr von Palant die Burg wieder hergestellt und im Geschmacke seiner Zeit ausgeschmückt hat. Elbert Palant baute die Burg in der zweiten Hälfte des 16. Jahrhunderts im Renaissance-Stil aus.Um die Geschäfte in der Stadt ausführen zu können, besaß die Familie in Kleve ein Stadthaus, den sogenannten Palantsturm. Der Palantsturm, der sich seit 1527 im Besitz der Familie befand, wurde bis in die Mitte des 17. Jahrhunderts hinein auch Zelemshaus genannt. Den Palants folgen später auch hier wie zu Zelem die Wylichs. Die Palants haben sich auch um die Gründung der ersten evangelischen Kirchengemeinde Kranenburg bemüht. 1648 wurde in Kranenburg der erste evangelische Gottesdienst abgehalten, die Glaubensgemeinde umfasste damals 40 bis 50 Mitglieder.Die Burg blieb mehr als 200 Jahre im Besitz der Familie Palant. Bei der Original-Urkunde aus dem Jahre 1570 handelt es sich um eine Kaufurkunde.
Im Atlas der Niederlande von 1573, der in Brüssel gedruckt wurde, ist Burg Zelem bereits kartografisch erfasst.
Eine Landkarte aus dem Jahre 1654, die sich heute im Berliner Kupferstichkabinett befindet, zeigt die Burg hinter der Stadansicht von Stadt Kranenburg.Auch die Wylichs gehörten zu den einflussreichen Familien am Niederrhein. Adolf von Wylich wird bereits 1396 als Landdrost für die Länder Kleve und Kranenburg angeführt. Dietrich Karl von Wylich-Winnenthal hatte sich zum Vertreter der rebellierende Klever Stände gemacht, um im Regensburger Landtag dem selbstherrlich regierenden Kurfürsten die Steuerzahlung zu verweigern, Freiheit von allen Lasten zu fordern und Ablehnung der Beteiligung an den kriegerischen Unternehmungen ihres Kurfürsten kundzutun.Auf dem Rückweg von Regensburg, wo er vor dem Landtag recht erfolgreich war, wurde Dietrich von Wylich von Reitern des Kurfürsten, der schon lange erkannt hatte, dass sich die klevisch-märkischen Stände nicht mit der Feder gewinnen ließen, aufgegriffen und in Kleve inhaftiert. Ihm wurde vom Statthalter, Johann Moritz von Nassau, Hochverrat vorgeworfen, die Stände gaben somit ihren Widerstand auf und von Wylich trat nach einjähriger Haftzeit in den Dienst des Bischofs von Münster.Die Wasserburg Zelem findet häufig auch die Aufmerksamkeit der Künstler. So bestehen auch Zeugnisse ihres Aussehens aus Zeiten vor der fotografischen Dokumentation. Im 18. Jahrhundert erreichte die zeichnerische Wiedergabe von Ansichten in und auf Städte, Dörfer, Kirchen und Burgen ihren Höhepunkt. Damals war die Nachfrage nach solchen Zeichnungen groß, da man begonnen hatte im großen Umfange Atlanten der verschiedensten Regionen anzulegen. Um Gebiete kartografisch zu erfassen und Bildbände dieser Regionen zu erstellen, musste man sich auf die Zeichnungen wandernder Künstler stützen.
Auch Jan de Beyer, ein Schüler Pronks wirkte hauptsächlich im Gebiet um Kleve, Gelderland und Amsterdam. Ab 1747 arbeitete er ausschließlich in den Niederlanden. Er arbeitete mit größter Genauigkeit und beliebte Motive seiner Zeichnungen sind die Wasserburgen um Kleve herum. 1740 fertigte er eine reizvolle, sehr detaillierte Zeichnung von Zelem an . Darauf sieht man nicht nur den großartigen Ausbau von einer Wasserburg zu einem dreigeschossigen Renaissance-Schloß mit Nebengebäuden, sondern auch den breiten Wassergraben, der die Burg umgibt.
Anfang des 19. Jh erfuhr die Burganlage eine große Reduzierung des Renaissance-Ausbaus. Genauere Umstände sind nicht bekannt. Sie könnte einer Feuersbrunst zum Opfer gefallen sein. Danach wurde Burg Zelem wieder in seinem ursprünglichen Zustand zurückversetzt. Die politischen Zeiten hatten sich nach der französischen Revolution verändert. Mit dem aufkommenden Bürgertum verzichtete man weitgehend auf ausschweifende Landsitze und wandte sich strengen Formen des Klassizismus zu.Mit dem 19. Jahrhundert wird die Bedeutung der Wasserburg Zelem auf einen landwirtschaftlichen Großgrundbesitz zurückgeführt. Die heutigen Wirtschaftsgebäude entstammen aus jener Zeit und stehen auf den Grundmauern des alten Südwestflügels.Die kriegerischen Wirren des 20. Jh hat Burg Zelem aufrgrund seiner versteckten Lage fast unbeschadet überstanden und ist deshalb heute noch als mittelalterliche Burg in Ihrer Grundsubstanz erhalten. Sie befindet sich in Privatbesitz und ist nicht öffentlich zugänglich.