Die ursprüngliche Burg wurde Mitte des 15. Jahrhunderts von den Grafen von Freyberg errichtet. Sie kam 1498 in den Besitz Kaiser Maximilians I., des letzten Ritters, der die Burg zu einem Jagdschloss umbaute. Erzherzog Ferdinand verkaufte 1528 Schloss und die dazugehörigen Wälder an Raimund Fugger. Nach dreihundert Jahren in Fuggerbesitz kauften 1842 die Grafen von Rechberg-Rothenlöwen das Schloss und die Waldungen. 1978 kam das Schloss in Maklerbesitz. wurde Spekulationsobjekt und mutierte schließlich zu einer „Schrott-Immobilie“. Im Jahre 2016 rettete die eigens dazu gegründete Hermann Messerschmidt Kulturerbe-Stiftung das Schloss in letzter Minute vor dem endgültigen Verfall.
Am 20.11.2019 begann die Schlossrestaurierung.