По смерти Ѳедора Борисовича кто владѣлъ этимъ дворомъ, въ точности неизвѣстно. Новый пожаръ въ 1565 г. снова обозначаетъ, что въ это время дворъ уже принадлежалъ кн. Владиміру Андреевичу, двоюродному брату царя Ивана Васильевича. Можно съ большою вѣроятностью предполагать, что при вел. князѣ Васильѣ Ивановичѣ дворъ былъ переданъ его брату Андрею Ив., сынъ котораго Владиміръ Андр. и владѣлъ теперь отцовскимъ дворомъ.
Въ этотъ годъ (1565) февраля 1 противъ пятницы, въ ночи загорѣлся дворъ князя Владиміра Андр. и сгорѣлъ весь, и церковь о трехъ верхахъ деревянная (Рождества Христова?), да дворъ Ивана Мстиславскаго, да Троицкій монастырь (подворье) выгорѣлъ весь, и у церкви Богоявленія три верхи сгорѣли; да на митрополичьѣ дворѣ на заднемъ конюшни и иные хоромы погорѣли.
На другой годъ (1566) государь пожаловалъ князя Владиміра, велѣлъ ему поставить дворъ на старомъ мѣстѣ, подлѣ митрополичьяго двора и посторонь Троицкаго двора, да къ тому мѣсту пожаловалъ государь кн. Владиміра, для пространства, дворовымъ мѣстомъ боярина Ивана Ѳед. Мстиславскаго, которому взамѣнъ, вѣроятно, тогда же было отдано мѣсто съ нарѣчной стороны Кремля, у Трубы, гдѣ прежде находился дворъ Дмитрія Шемяки.
Это были годы, когда Грозный царь учреждалъ себѣ Опричнину и задумывалъ устроить себѣ и въ самомъ Кремлѣ особое помѣщеніе, для чего еще въ 1565 г. повелѣлъ было мѣсто чистить позади стараго царскаго дворца, занимая мѣста и отъ дворовъ кн. Владиміра и отъ митрополичья, но послѣ упомянутаго пожара это намѣреніе было оставлено.
Извѣстна печальная участь князя Владиміра Андр. свирѣпый царь въ 1569 г. отравилъ его ядомъ. Вслѣдъ затѣмъ было погублено и все его семейство.
Съ этого времени въ большомъ комнатномъ приближеніи у свирѣпаго царя появляются Годуновы и первымъ Дмитрій Ив. Годуновъ, пожалованный въ 1571 г. въ постельничiе, затѣмъ въ 1573 г. въ окольничіе, а въ 1578 г. въ бояре. За нимъ слѣдуетъ и Борисъ Годуновъ, въ 1570 г. исполнявшій должность рынды; въ 1571 г. на свадьбѣ царя съ Собакиной, дружкою съ невѣстиной стороны и въ мыльнѣ съ государемъ, а потомъ въ 1578 г. кравчій и въ 1581 г. прямо мимо окольничества изъ кравчихъ бояринъ.
О большомъ приближеніи къ свирѣпому царю Бориса свидѣтельствуетъ въ точности его избирательная грамота, несомнѣнно подъ его руководствомъ и по его указанiямъ и написанная. Отсюда и можно видѣть, что дворъ Владиміра Андр., недолго спустя послѣ его опалы, поступилъ во владѣніе Годунова, женатаго къ тому же на дочери Малюты Скуратова и, слѣдовательно, состоявшаго въ прочномъ союзѣ съ этимъ свирѣпымъ опричникомъ. Съ кончиною Ивана Грознаго настаетъ прямое и сильное царствованіе Бориса подъ именемъ убогаго царя Ѳедора Ивановича. Борисъ шелъ къ своей цѣли очень твердыми и обдуманными шагами. Повидимому, эту цѣль онъ намѣтилъ еще при жизни Грознаго царя. По словамъ грамоты, утверждавшей его избраніе на царство, «онъ съ малолѣтства безотступно находился при царскихъ пресвѣтлыхъ очахъ Грознаго царя и потому навыкъ отъ премудраго царскаго разума Государственнымъ царственнымъ чинамъ и царскому достоянію». Это писано въ грамотѣ въ доказательство его способностей къ царствованію и его правъ на избраніе. Другои списокъ грамоты свидѣтельствуетъ, что Грозный за много лѣтъ до своей кончины взялъ въ свои царскія полаты еще малолѣтныхъ Бориса и его сестру Ирину и питалъ ихъ отъ своего царскаго стола, при чемъ Ирину назначилъ въ невѣсты сыну Ѳедору, а взялъ ее во дворецъ еще въ малолѣтствѣ, « седми лѣтъ, и была она воспитана въ царскихъ полатахъ до сочетанія брака». Вотъ каковы были начальные пути знаменитаго царедворца. Благозаконный бракъ царевича Ѳедора совершился, вѣроятно, около 1580 г. Никакихъ прямыхъ указаній по этому обстоятельству намъ не встрѣтилось, а это въ свой чередъ можетъ служить свидѣтельствомъ, что бракъ былъ совершонъ домашнимъ порядкомъ, безъ офиціальныхъ свадебныхъ разрядовъ и торжествъ, какъ бы утайкой, чтобы не помѣшала боярская среда.
Еще въ 1582 г. по случаю несчастной кончины сына, Ивана Ивановича, Грозный въ своей кручинѣ не чаялъ себѣ долгой жизни и потому говорилъ Борису, что отдаетъ на его попеченіе сына Ѳедора и Богомъ дарованную свою дочь царицу Ирину, присовокупивъ, «что какова мнѣ Ирина, таковъ и ты Борисъ въ нашей милости, какъ еси сынъ (родной)».
Другой списокъ грамоты разсказываетъ, что когда Борисъ былъ боленъ, то Грозный, по своему милосердному обычаю, жалуючи Бориса, пріѣзжалъ къ нему, и говорилъ ему государь отъ своихъ царскихъ устъ: «Борисъ! не ты боленъ, сынъ мой Ѳедоръ боленъ; не сынъ мой Ѳедоръ боленъ, Богомъ дарованная моя дочь, невѣстка Ирина, больна; и не невѣстка Ирина больна, я боленъ!» и простеръ свою царскую длань и показалъ на длани своей государскіе три перста, говоря Борису: «Борисъ! какъ тѣ три перста царской моей десницы видишь, такъ мой сынъ Ѳедоръ да Богомъ дарованная мнѣ дочь, Ирина, да ты, Борисъ, нашего царскаго величества въ милости какъ есть сынъ, а не рабъ» (Вивл., VII, 54.). Все это разсказывали патріарху на соборѣ сами бояре, приводя свидѣтельства объ особенной любви и милости Грознаго къ Борису.
Духовникъ государя архимандритъ Ѳеодосій также разсказалъ, что предъ кончиною онъ призвалъ его для исповѣди и принятія Св. Тайнъ. Борисъ въ это время находился при постели больного.