Geschichte des Schlossgebäudes
Caspar Remp, der letzte Pfullinger Ortsadlige, verkaufte im Jahr 1487 seinen Pfullinger Schlossbesitz an den Grafen Eberhard im Bart von Württemberg. 1560 – 1565 erbaute Herzog Christoph an der Stelle der alten Burg ein herzogliches Schloss, das als Jagdschloss, Sitz des Amtmanns und schließlich als Sitz des Oberamtes genutzt wurde. Der rechte Flügel dieses Schlosses ist bis heute erhalten geblieben.
Mit der Verlegung des Oberamtes nach Reutlingen im Jahr 1806 verlor das Schloss seine administrative Bedeutung und wurde 1829 an einen Reutlinger Kaufmann verkauft, der es 1851 an den Eninger Wundarzt Flamm veräußerte. In den folgenden Jahrzehnten entstanden neue Gebäude, in denen die so genannte „Flamm’sche Privat-Heilanstalt“ untergebracht war. Nach dem Verständnis der damaligen Pfullinger wurden dort „Wahnsinnige und Melancholische“ bewahrt.
69 Jahre wurde das Schloss als Heilanstalt genutzt, ehe es im Jahr 1920 die Firma Silber und Schlayer übernahm. 1954 kaufte die Stadt Pfullingen das Schlossgelände mit den dazugehörigen Gebäuden für 850.000 DM und richtete darin zunächst städtische Wohnungen ein.
Heute sind im Schlossgebäude verschiedene Einrichtungen untergebracht: Kindergarten, Vereine, Musikschule, Kernzeitbetreuung.