Scherzhaft wird er auch der „höchste Berg“ im Schwabenland genannt. Denn wer auf dem Gipfel des Hohenasperg landet, kommt sobald nicht wieder runter. Das hat nicht etwa mit dem beschwerlichen Abstieg, sondern mit dem Gefängnis auf dem Gipfel zu tun. Seit 1738 sind hier in einer umgebauten Burg Sträflinge untergebracht. Errichtet wurde das Bergschloss im Mittelalter vom Tübinger Pfalzgrafen. Im 16. Jahrhundert baute Ulrich von Württemberg Hohenasperg zu einer wehrhaften Herzogsresidenz aus. 200 Jahre später hatte die Burg nach Eroberungen und Zerstörungen ihre Bedeutung als Herrschaftssitz verloren. In dieser Zeit begann Herzog Carl Eugen auf der Festung unliebsame Kritiker „unterzubringen“. 1777 lockte er den Dichter Friedrich Daniel Schubart auf sein Territorium und sperrte ihn ohne Prozess für zehn Jahre ein. Schubart hatte in seiner „Deutschen Chronik“, der ersten politischen Zeitschrift Deutschlands, gegen die Fürsten gewettert. Dafür wurde er im „Schubartturm“ an die Wand angekettet, später hatte er eine Zelle im Arsenalbau. Auch der Zündholzerfinder Jakob Friedrich Kammerer saß auf Hohenasperg ein. 1833 wurde der Ludwigsburger Fabrikant wegen „demokratischer Äußerungen“ für fünf Jahre eingesperrt. 1848 sang man das Lied: „Auf dem Berg wohnt die Freiheit – auf dem Asperg aber nicht”. Nach der gescheiterten Revolution von 1848 diente die Burg als Elitegefängnis für Liberale und Demokraten. 1940 wurden über 800 Sinti aus der Rhein-Neckar-Region dort oben eingesperrt, bevor man sie in ein Vernichtungslager abtransportierte. Heute wird die Burg als Gefängniskrankenhaus genutzt.