Das ursprünglich nur zweigeschossige Gebäude wurde um 1700 auf den Grundmauern einer vorherigen Bebauung der Rodensteiner als Wohnhaus für den Burggrafen und Oberamtmann Freiherr von und zu der Hees errichtet. Über dem Portal ist das Ehewappen der Familien Hees/ Holdinghausen zu sehen. In der ersten Hälfte des 18. Jahrhunderts wurde das "Stadtschloss" um einen viergeschossigen Westbau erweitert.
Schloss-Schule
Die Stadt erwarb 1824 das Gebäude und richtete dort ein Spital und eine Volksschule ein. Die Aufstockung des Hauptgebäudes erfolgte 1896/97, eine durchgreifende Erneuerung 1959/60. Heute ist hier die Schloss-Schule, eine Europa-Grundschule, untergebracht.