Die Geschichte der Burganlage auf dem Klosterberg von Kastl ist bis heute eng mit Leben und Sterben der kleinen Kaisertochter Anna verbunden. Anna ist das Kind Kaiser Ludwigs von Bayern gewesen. Im Januar 1319 weilt Ludwig mit seiner Familie in Nürnberg, wo er mit dem Burggrafen Friedrich einen Vergleich abgeschlossen hatte. Auf der Rückreise in die Residenzstadt München erkrankt seine dreijährige Tochter Anna allerdings schwer. Einige Tage später ist sie in Kastl gestorben. Aus unbekannten Gründen wurde der Leichnam des Kindes nicht nach München überführt, sondern in die Obhut der Kastler Mönche übergeben. Der damaligen Sitte entsprechend wurde ein Leichnam solch hoher Herkunft einbalsamiert. Auch nach dem Tod seiner Tochter wollte der Kaiser für sie sorgen. Zwei Jahre nach dem Unglückstag stiftet er 1321 „auf ewige Zeiten” einen Jahrestag für das Seelenheil der kleinen Anna. Mehr als 200 Jahre wurde ihr so gedacht. Erst mit der Vertreibung der Kastler Mönche 1560 und der Reformation wurde dem Willen des Vaters nicht mehr entsprochen. Begraben wurde die kleine Anna zunächst in einem Zinnsarg, der in ein steinernes Grabmal versenkt war. Diese so genannte Tumba war mitten im Kirchenschiff vor dem Altar. Auf der Tumba die lateinische Inschrift: „Im Jahr des Herrn, am 30. Januar 1319, verstarb Anna, die Tochter des römischen Königs Ludwig.” 1679 wurde der Altar mit der Tumba jedoch aufgebrochen, 1715 ließen die Jesuiten den Leichnam der kleinen Prinzessin aus dem Grab herausnehmen und in einem Eichenschrank aufbewahren. Heute befindet sich die Mumie der kleinen Anna im Paradies, so heißt die Vorhalle der Kastler Klosterkirche. Zu sehen sind dort die Tumba und der Eichenschrank. Beschützt wird die kleine Anna im Paradies von Seyfried Schweppermann, einem herausragenden Hauptmann Kaiser Ludwigs, der dort ebenfalls seine letzte Ruhe gefunden hat. Durch die Gunst des Kaisers ist die Klosterburg reich verziert. Zahlreiche Kunstwerke sind bis heute gut erhalten und können besichtigt werden.