Послѣ того дворцовыя зданія были выдвинуты на соборную площадь, гдѣ въ 1491 г. Марко Фрязинъ и Петръ Антоній построили большую полату, названную Грановитою по случаю обдѣлки ея наружныхъ стѣнъ по-итальянски гранями.
Весною на слѣдующій 1492 г. вел. князь окончательно рѣшилъ выстроить себѣ каменныя жилища и 5 апрѣля со всею семьею перебрался изъ своего двора въ новый дворъ Ивана Юрьевича Патрикѣевича, стоявшій противъ церкви Іоанна Предтечи у Боровицкихъ воротъ, а старый свой дворъ, деревянный, велѣлъ разобрать и на его мѣстѣ ставить каменный дворъ.
Однако въ новомъ и притомъ въ чужомъ жилищѣ, вѣроятно было тѣсно, почему тогда же вел. князь поставилъ себѣ временной деревянный дворъ за Архангеломъ, т.-е. съ восточной стороны Архангельскаго собора, на мѣстѣ, нѣкогда принадлежавшемъ сыну Калиты, Андрею, и потомъ сыну Андрея, знаменитому Владиміру Андреевичу Храброму, герою Куликовской битвы. Теперь это было опальное мѣсто, отобранное у провинившагося передъ государствомъ внука Храбраго воеводы, Василья Ярославича. Мѣсто такъ и прозывалось Ярославичевскимъ.
Съ небольшимъ черезъ годъ 16 апрѣля 1493 г. нутрь Кремля весь выгорѣлъ, остался только этотъ новый дворъ за Архангеломъ, гдѣ вѣроятно уже и пребывалъ вел. князь.
А потомъ ровно черезъ три мѣсяца, 16 іюля случился опять такой пожаръ въ Кремлѣ, какого не бывало съ тѣхъ поръ, какъ и Москва стала. Погорѣлъ не только весь Кремль и съ упомянутымъ новымъ дворомъ, но почти и весь посадъ вокругъ Кремля.
Оченъ трудно было при такихъ губительныхъ обстоятельствахъ продолжатъ даже и производимую постройку каменныхъ стѣнъ Кремля, а о продолженіи постройки дворца нельзя было и помышлять. Поэтому закладка каменнаго дворца совершилась уже въ послѣднiй годъ ХV ст., въ 1499 г. въ маѣ мѣсяцѣ, когда вел. князь заложилъ дворъ свой каменъ, полаты каменныя и кирпичныя, а подъ ними погребы и ледники, на старомъ дворѣ у Благовѣщенія, да и стѣну каменную заложилъ отъ двора до Боровицкой стрѣльницы, для защиты двора съ набережной стороны, откуда изъ Замоскворѣчья могли достигать и татарскія стрѣлы и горѣвшія головни.
Строителемъ всего жилого дворца былъ Алевизъ Фрязинъ оть града Медіолана.
Постройка продолжалась нѣсколько лѣтъ, по одному извѣстію (Устюж. Дѣт. 179) даже 12 лѣть, и была окончена въ 1508 г., черезъ два съ половиною года по кончинѣ основателя этихъ строеній вел. князя Ивана Васильевича.
7 мая 1508 г., во второе воскресенье по Пасхѣ, новый государь Василій Ив. перешелъ на житье въ эти кирпичныя полаты, которыя сохранились и до нашего времени, составляя три нижнихъ этажа нынѣ существующаго такъ называемаго Теремнаго дворца (Альбомъ видовъ No XIV).
Съ кончиною вел. князя Ивана Ш, перваго Московскаго государя, не произошло никакихъ перемѣнъ и ни малѣйшаго ослабленія ни въ дѣлахъ развитія государственности, ни въ домашнихъ дѣлахъ по устройству гнѣзда этой государственности, отнынѣ славнаго и преименитаго города Москвы.