Оба княжеские дома стали в короткое время очень близко друг к другу. Это не осталось незамеченным московскими светскими кумушками, и те разнесли об этом весть по всем светским гостиным, где даже заговорили о сватовстве еще тогда, когда о нем не было и речи.
В мае 1771 года случилось обстоятельство, еще более подтвердившее эти слухи.
Князь и княжна Баратовы уехали в свое подмосковное имение, отстоявшее от города всего в двенадцати верстах. Это был чудный уголок природы, украшенный искусством. Все, что может придумать изысканный вкус и праздное воображение богатого барства, все соединилось в этом подмосковном родовом имении князей Баратовых.
Дом-дворец, убранный с царскою роскошью и стоявший в глубине роскошного парка с вековыми деревьями, окруженный цветником, где сочетание цветов ласкало взор, а их аромат разносился на далекое пространство. Грандиозные оранжереи со всевозможными заморскими фруктами, плодовый сад, великолепные купальни на зеркальном пруду и на протекавшей у подножия дома-дворца серебряной лентой Москвы-реки. Несколько десятин векового соснового леса, с расчищенными дорожками, давали прохладу и насыщали воздух здоровым смолистым запахом сосны.
Фонтаны самых причудливых форм, великолепные мраморные и бронзовые статуи украшали цветник и парк и делали поместье князей Баратовых одной из тех затей русского барства, которые становятся впоследствии историческими памятниками.
Первый год выездов с неизбежными треволнениями и далеко не регулярной сравнительно с прежней жизнью отразился на и без того слабом здоровье княжны Варвары Ивановны. Она стала жаловаться на грудь и слегка покашливать. Это сильно обеспокоило князя Ивана Андреевича. Призванные доктора прописали отдохновение и сосновый воздух.
В уме князя Владимира Яковлевича, услыхавшего от князя Ивана Андреевича этот совет докторов, мелькнула мысль, которую он не замедлил привести в исполнение. С помощью сестры он уговорил князя и княжну со всем семейством, то есть племянниками, учителем, Капочкой и нянькой княжны Терентьевной, переехать на жительство в Баратово, как называлось подмосковное имение князя Владимира Яковлевича.
Князь Иван Андреевич хотел ехать в свое имение, но, к несчастью, в окружающих его лесах сосна попадалась очень редко, и слава Баратова, как по преимуществу лесистого соснового места, в связи с советом докторов, было лучшим аргументом в пользу принятия этого любезного приглашения.
Княжеское семейство поднялось и выехало «погостить», как говорил старый князь, к Баратовым. Прогостили они вплоть до первых чисел августа.
Чума в Москве в это время начала уже сильно косить свои жертвы среди простонародья. Оба княжеские семейства решили переждать с переездом в Москву до окончания страшной эпидемии, как вдруг мор начался в расположенном близ Баратова селе. Это была буквально повальная смерть, не щадившая никого. В несколько дней умерло несколько сот душ.