Am 29. November 1264 überließ der Graf Hermann von Orlamünde dem Erzbischof Ruprecht von Magdeburg sein gesamtes Eigentum, dabei auch Rudolstadt mit zwei Schlössern. Diese, das »niedere« und das »hohe« Haus, wechselten nach der Zeit mehrfach ihre Besitzer aus den Reihen der Orlamünder und der Schwarzburger Grafen, die benachbart und untereinander verschwägert waren.
Die Schwarzburger Günther und Heinrich gaben am 20. Februar 1306 Rudolstadt, das niedere Haus und alles, was dazu gehörte, für neuntehalbhundert Mark dem Orlamünder Otto in Zahlung. Aber schon am 21. Januar 1334 gingen das obere und das untere Haus samt den damit verbundenen Stadtteilen in die Verwaltung Heinrichs X. von Schwarzburg über, und nach dessen Tode fiel 1340 Rudolstadt mit dem orlamündischen Erbe an seine Söhne, die Grafen Heinrich XII. und Günther XXV. Seitdem ist es schwarzburgisch geblieben.
Während der Fastenzeit 1345 drang im Thüringischen Grafenkrieg ein Heereshaufe Landgraf Friedrich des Ernsthaften in Rudolstadt ein, plünderte und brannte es nieder, dabei gingen auch das Rathaus und die beiden Schlösser in Flammen auf.
Wo das niedere Haus, die untere Burg, gestanden hat, läßt sich erschließen. Die Grenzen der Grundstücke und der alte Schloßweg geben den Hinweis dazu. Dieser, der heutige Schloßaufgang VI, in mehreren Jahrhunderten wiederholt erweitert, trägt die Merkmale eines mittelalterlichen Burgwegs und hat vor der Stelle, wo heute das Torgebäude steht, scharf nach rechts umgebogen, um über den Felsen die spitze Bergecke zu erreichen, die jetzt vom Schloßgarten verdeckt wird.
Hier, von dieser schmalen Felsrippe aus, konnte die Burg über die weite Saalaue und das enge Tal des Wüstenbaches die Wache halten. Als ihre Zeit vorüber war, lagen die Trümmer noch lange umher. Graf Wolrad von Waldeck besuchte sie 1548 als Sehenswürdigkeit, und nachdem sie bereits in den gewaltigen Mauern der Schloßgartenterrassen aufgegangen waren, hieß eine Stelle am Südabhang 1669 noch »unter der alten Burg«.
Unmittelbar am Fuße der steilen Höhe schob sich der Pfaffenhügel flach gegen die Talsohle vor. Er trug die Kapelle Sankt Andreas, den Mittelpunkt der deutsch-sorbischen Altstadt. Diese lief am Ufer des Wüstenbaches entlang und dehnte sich um drei Gutshöfe schließlich bis zur heutigen Brückengasse aus.
Das obere Haus stand eine Felsstufe höher, am Ostende des heutigen Schloßhofes. Der Fahrweg zu dieser Burg zweigte an der Krümmung des älteren Burgwegs ab, lief dann noch ein Stück am Südabhang des Berges weiter und bog schließlich scharf und steil nach rechts um. Seine letzte Strecke im heutigen Schloßtunnel erinnert noch an mittelalterliche Wegeführung und an die Leistungen, die man früher, namentlich mit schwerem Fuhrwerk, Menschen und Tieren zumutete. Die Baustelle dieser oberen Burg hat wiederholt tiefgreifende Veränderungen erfahren, zuletzt im Jahre 1823 durch Anlage der Terrassenbauten, die mit Treppen und Reitwegen zum Schloßgarten hinunterführen.
Das obere feste Haus, auch noch von den Orlamündern gebaut, schirmte die deutsche Stadt unmittelbar am Südfuße des Schloßberges. Ihre älteste Hauptstraße, die heutige Stiftsgasse und Kirchgasse, begann am Alten Tore vor dem Hause Stiftsgasse 44 und endete an der Stadtmauer bei der Kleinen Badergasse. Erst im Kampfe mit der Saale wuchs die Stadt nach Süden zu in die Breite. Ihr Gotteshaus war die Kapelle »Sente Elißabeth gelegin uff dem Martte«, an der Ecke der Ratsgasse.
Das Leben der Burggrafen spielte sich durchaus nicht immer in der engsten Heimat ab. Landespolizei auszuüben und Güter zu verwalten überließen sie daheim ihren Beamten, während sie selbst Einkünfte und Ehren im Dienste größerer Herren suchten.
Von Heinrich X. hören wir, er war Kriegsrat Kaiser Ludwigs des Bayern und erwarb sich Verdienste in den Kämpfen des Deutschen Ritterordens gegen die Polen. Einen Bau auf dem oberen Hause in Rudolstadt ließ er aufführen. Sein Bruder war Günther zu Blankenburg, der als Deutscher König 1349 in Frankfurt an Main starb.