Met de bouw van uiteindelijk een van de twee machtigste kastelen (het andere is Ter Eem) van het sticht zou rond 1080 al begonnen zijn. Uit archiefonderzoek blijkt echter dat het dorp er eerder was dan het kasteel. Men kan dus stellen dat het geslacht Abcoude, dat verantwoordelijk zou zijn voor de bouw van het Slot, zijn naam aan het dorp ontleend heeft en niet andersom zoals men ook weleens oppert. Bij een studie betreffende het in cultuur brengen van de venen westelijk van de Vecht is er niets gevonden dat aanleiding geeft om een geslacht van dienstlieden (ministerialen) te vermoeden, die als bouwheren van het slot Abcoude beschouwd kunnen worden. In een oorkonde uit 1186, waarvan men niet zeker weet of deze betrouwbaar is, wordt voor het eerst een Hendrik van Abcoude genoemd. Er is nog geen zekerheid over dat er rond deze tijd al een kasteel in de slotpolder zou hebben gelegen. Omdat door ontbrekende oorkonden nog steeds niet te bewijzen valt dat ene Zweder van Zuylen met Hendrika van Abcoude zou zijn gehuwd, wordt het bestaan van een geslacht Abcoude betwijfeld. Toch was deze Zweder de eerste heer die de naam Van Abcoude aannam. Dit is terug te vinden in een oorkonde uit 1268 gewaarmerkt met het oude wapen van Zuylen, en een randschrift waar hij zich tevens Zweder van Sulen noemt. De kans is groot dat hij daarom ook de opdrachtgever is voor de bouw van het Slot Abcoude. Tegen deze tijd ook staat het kasteel en het gerecht onder bisschoppelijk leen. Het slot zal in het begin uit niet meer dan een eenvoudige woontoren hebben bestaan, die ook als statussymbool dienst deed. Dan wordt het slot van Zweder in 1274 tijdens de Kennemer boerenopstand onder leiding van Gijsbrecht van Amstel verwoest. Volgens sommige geschriften zou de herbouw van het slot, hoe onwaarschijnlijk ook, pas in 1328 plaatsvinden. Na het overlijden van Jacob van Gaesbeek komt het kasteel in 1459 in het bezit van David van Bourgondië. Dat dit niet zonder problemen ging, blijkt uit het feit dat de bisschop eerst hulp moest zoeken bij Amsterdam, om het uit handen van de stad Utrecht te houden. Helaas wilde het Amsterdamse garnizoen na de overwinning van de bisschop niet meer vertrekken. Dit heeft nog enkele jaren stand gehouden. Daarna liet de bisschop het door regelmatig wisselende kasteleins beheren.