Zur Geschichte des Schlosses Dallau ist zu berichten, dass direkt nach Aufgabe der Anfang des 8. Jahrhunderts errichteten Siedlung eine quadratische Turmburg mit einer einfachen Ringmauer erbaut wurde. Dazu gehörten der im Keller des Gebäudes befindliche Turm und wahrscheinlich auch der Turm an der Ostseite des Schlosses. Man vermutet, dass diese Türme als "Treppentürme" zum Wehrgang hinaus gedient hatten. Dieser Wehrgang wurde vermutlich aus Holz errichtet und von gemauerten Stützpfeilern getragen. Vor der Ringmauer wurde ein Graben angelegt.
Historisch nachweisbar wird 1336 erstmals die "Veste Talheim" erwähnt. Als Besitzer galten die Herren von Heinriet. 1356 wurde die Burg vom Erzbischof von Mainz zerstört. Erst ab 1371 wurde ein langrechteckiges Gebäude auf Teilen der abgebrochenen Turmburg errichtet und in die noch vorhandene Ringmauer eingebaut. Hierzu gehörte ein großer Anbau, der vielleicht wirtschaftlich genutzt wurde.
Der Turm im heutigen Keller wurde aufgeben, während der Turm an der Ostseite des Gebäudes weiter genutzt wurde. Erbauer waren wieder die Herren Heinriet. Gegen Ende des 14. Jahrhunderts wurde diese Burg aus unbekannten Gründen teilweise zerstört. Die Ruine wurde dann 1416 vom deutschen Orden aufgekauft, aber erst 1438 begann der Neuaufbau auf den älteren Mauerresten, und das langrechteckige Gebäude wurde ebenfalls wieder errichtet. Hierbei handelt es sich um das noch heute bestehende Gebäude. Wohl kurz darauf wurde an seiner Ostwand ein Anbau angesetzt, der vermutlich als Küchentrakt diente. Der Turm an dieser Seite befand sich nun innerhalb des Anbaus und dürfte als Treppenturm gedient haben.
An der Nordecke des Burghofes wurde ein bereits vorher vorhandener Turm in das Haus miteinbezogen. Auch eine zweite Ringmauer wurde mit vier Ecktürmen erbaut. Um die ganze Anlage legten die Besitzer einen mit Wasser gefüllten Graben an. 1668 wurde die Burg dann an die Kurpfalz abgegeben und im Laufe des 18. Jahrhunderts aufgegeben.
1974 wurde die Burganlage aus Privatbesitz von der Gemeinde Elztal erworben. 1986 erfolgte die Aufnahme in das Denkmal-Nutzungsprogramm. Die Gemeinde erhielt einen hohen Zuschuß aus diesem Programm sowie aus weiteren Zuschußprogrammen. Dadurch war es möglich, die Sanierung und Erhaltung dieser eindrucksvollen, mittelalterlichen Burg vorzunehmen. Nach einer Renovierungszeit von über vier Jahren war es dann im Juli 1995 soweit, das Schloß einzuweihen und der kulturellen Nutzung zuzuführen. Im zweiten Obergeschoß ist die Außenstelle der Musikschule untergebracht. Das erste Obergeschoß dient für Repräsentationszwecke und standesamtliche Trauungen.