Der Turm auf der Au wurde Anfang des 13. Jahrhunderts namensgebend. Erbaut wurde die Turmburg von den Rittern von Förtsche auf einem Sandsteinfelsen, der aus dem Aubach ragte. Das Schloss hieß ursprünglich „Hûs ûf dem Stein“ und wurde von zwei vorgelagerten Türmen geschützt. Die bis ins 13. Jahrhundert zurück reichende Baugeschichte einer der größten und kunsthistorisch wertvollsten Schlossanlagen Frankens bedient nahezu alle Epochen fränkischer Kunstgeschichte. 1565 fiel das Schloss an die Förtschischen Schwiegersöhne von Künßberg und von Giech, gedacht war ein gemeinsames Führen der Anlage. Doch es wurde gestritten. Man ging getrennte Wege und bevorzugte getrenntes Wohnen. Die Künßbergischen bevorzugten den frühbarocken Schlossteil im „Unteren Hof“ und sie besaßen nach Norden eine Arkadengalerie. Dem Giechschen Schaffen entsprach der „Obere Hof“ mit der 33 Meter hohen Hoher Kemenate, dem Wohnraum. Der Hans-Georgen-Bau wurde nach dem Dreißigjährigen Krieg mit italienischem Stuck verziert, der Carl-Maximilian-Bau wurde Ende des 18. Jahrhunderts mit einem Rokokogiebel versehen. Im 19. Jahrhundert wurde das Schloss umfangreich restauriert. Heute ist das Schloss eine musikwissenschaftliche Forschungsstätte der Universität Bayreuth.