В 1541 году, во время нашествия крымского хана Девлет-Гирея, когда вся Москва, кроме Кремля, была предана пламени, по всей вероятности, пострадал много и двор Никиты Романовича.
Спустя десятилетие после этого и сам хозяин дома подвергся опале грозного царя. После брака своего с Мариею Нагою царь Иоанн Васильевич послал на двор Никиты Романовича 200 стрельцов: они расхитили оружие, посуду, лошадей и все пожитки на 40 000 фунтов стерлингов. Никита Романович, кроме того, лишился всех своих поместий, остался в такой бедности, что на другой день после разграбления послал в соседнее с ним Английское подворье, близ церкви Максима Исповедника, просить бумажной ткани на одежду себе и детям.
Англичанин Иероним Горсей, бывший в то время в России, рассказывает, что Никита Романович не чуждался сближения с англичанами, и один из них, приказчик торгового дома, давал его сыну, Федору Никитичу, уроки латинского языка; впоследствии этот Федор был патриархом Российским. Умирая, грозный царь возвратил милость свою своему шурину по первой своей жене и назначил Никиту Романовича в числе четырех ближайших советников сыну своему, царю Федору Иоанновичу.
Со времени заключения Федора Никитича царем Борисом в темницу в 1599 году и пострижения его с именем Филарета в Сийском монастыре Архангельской области дом Романовых, надо полагать, долго оставался без хозяина, и хотя потом Филарет Никитич был в Москве при самозванцах, но не на долгое время и, как монах, не жил в своем доме. По избрании Михаила Федоровича на престол родовой дом был исправлен, и при нем уже тогда, как показывают росписи того времени, был там в Знаменской церкви протопоп Иаков с двумя священниками и другими лицами клира. В те времена степень протоиерейства, предполагавшая большой клир, была редка и показывает особенное внимание царя к старому своему дому.
В 1626 году, мая 3-го, пожар, опустошивший Москву, не пощадил и Государева двора; следствием его было расширение Варварской линии; но каменная палата на углу этой улицы и Псковского переулка оставлена на старом месте. Знаменский монастырь из домовой церкви бояр Романовых был основан в 1631 году, в год кончины матери царя Михаила, инокини Марфы Иоанновны.
В этот же год грамотою царя Знаменский монастырь был наделен родовыми царскими населенными имениями и угодьями, бывшими за инокинею Марфою Иоанновною.
В 1668 году, во время Большого пожара, пострадал и Знаменский монастырь; по этому случаю игумен Арсений доносил царю Алексею Михайловичу:
«Бьют челом богомольцы твои Знаменского монастыря, что на Вашем Государеве старом дворе твое царское богомолие – монастырь выгорел со всеми монастырскими службами и с запасьем, на церквах кровли обгорели., и ваше государское старинное строение – палаты – от ветхости и от огня развалились, а нам., богомольцам твоим убогим, ныне построить нечем; место скудное; погибаем вконец».
Но скоро нашлись богатые царские родственники Милославские, и их иждивением восстановлены старинные палаты и другие многие здания монастырские и вместо бывшей деревянной ограды возведена новая, каменная. Монастырь обновился, но, по слабости грунта, все – от ограды до собора – было выстроено на дубовых сваях, и притом на косогоре, и потому долговечности не обещало.
В «Выходах Государей» находим, что в XVII веке Знаменская обитель часто принимала величественный вид; государь с боярами и патриарх с властями бывали в монастыре на праздник у малой вечерни, всенощной и у обедни. Перед праздником на Сытном дворе наливалась в монастырь лампада воску. От монастыря в этот день подносились иконы Знамения Богородицы со святою водою в вощанках всем членам царской фамилии, патриарху и именитым боярам.