Dan maken in de komende jaren de wisselende eigenaars steeds minder gebruik van het Slot. De nieuwe huizen zijn immers meer luxueus en minder tochtig.

In 1809 wordt dan ook door de gemeente nog melding gemaakt van 'eenige overblijfselen waaronder een fraaie tooren'.

De situatie volgens de kadastrale minuut van 1818.

Hier staat voor het eerst duidelijk de buitengracht aangegeven. Het voormalige slotenpatroon op [5MO] is hiermee verdwenen. Het bruggetje linksonder is de slotsbrug genaamd. De boerderij linksboven heet Landlust. De hofstede die voorheen op de voorburcht zou hebben gestaan wordt hier doorsneden door de weg die vanaf het kasteel voert. Deze nieuwe weg sluit aan op wat op [20GD] de Binneweg heet. Sporen hiervan zijn te zien op [38RS] die aansluiten op het voormalig doodlopende eind op [20GD]. De vorm van het eiland laat zien dat ten tijde van de verbouwing naar een adelijk landhuis, ook het terrein waar het slot op lag aan de zuidzijde enigszins is afgegraven.

De toren op deze afbeelding is de kleine ronde toren. Dit is te herkennen door de verdikte band op de plaats waar vroeger de transen hebben gezeten. Dit valt te herleiden uit [WW1]. De plek waar de tekenaar gezeten heeft is vermoedelijk het binnenplein geweest. Dit valt af te leiden uit de deuren en ramen die men ziet. De meest linkse zijn ook te zien op [22CP]. De meeste rechts liggen bij [22CP] waarschijnlijk net om de hoek. Het vreemde is dat de rechtse twee er überhaupt zijn. Uit de tekeningen WW1 en [25HS] blijkt dat de bebouwing aan die zijde van de toren verdwenen is. Wat is het nut dan van deze twee gaten? Op de voorgrond zien we dat de grond van het binnenplein is afgegraven. Waarschijnlijk is dit gebruikt om de binnengracht aan de noordzijde te dempen.

Een aantal resten werden in 1848 door de eigenaar Willem van den Bosch voor sloop verkocht. "vijfduizend gave stenen" en "de helft van het daarafkomende oude ijzer" heeft hij voor zichzelf gehouden.

In 1860 wordt melding gemaakt van de egalisering van het slot.