Картины лучших мастеров, как старых, так и новых, вместе с весьма интересными портретами, между прочими Нарышкинскими, украшали стены. Подоконники в гостиных сделаны из ляпис-лазури. Сервизы столовые и чайные были севрские и саксонские; особенно был замечателен один столовый, заказанный императрицей Екатериной в Дрездене, обвитый Георгиевскими лентами.
В. П. Шереметева
Дом со всем убранством, по словам иностранцев, стоил около четырех миллионов рублей. Как говорит де Местр, каталог библиотеки одних изданий XV века составлял довольно большой толстый том. Известны два каталога библиотеки этой, составленные профессором Геймом.
На земле Разумовского стояла около дома церковь Вознесения, что на Гороховом поле, считавшаяся в то время домовою. В этой церкви снаружи под карнизом были изображены св. Апостолы; храм внутри украшен был богато. Построен он был в 1793 году Разумовским. Церковь эта, по преданиям, была только возобновлена, создана же еще во времена Михаила Феодоровича. В день Вознесения здесь бывало народное гулянье, более же богатая публика в этот день гуляла в Дворцовом саду.
Граф А. К. Разумовский, как говорят его современники, был «гордыни непомерной». Высокомерие его породило в Москве слух, будто он считал себя царской крови. Этого слуха, впрочем, и сам граф не отвергал, а вдобавок рассказывал какую-то невероятную нелепицу. Гордый со всеми, граф был суров и в кругу своего семейства. Разумовский был масоном и принадлежал к ложе Capitulum Petropolitanum; занимаясь масонством и ботаникой, он жил очень уединенно в Москве, прячась от общества в своем глухом саду, или, как говорит Вигель, «среди царской роскоши со своими растениями».
Граф был женат на графине Варваре Петровне Шереметевой; он служил при дворе сперва камер-юнкером, потом камергером, затем в 1778 году вышел в отставку, жил в Москве и занимался отделкою дома в выделенном ему отцом селе Горенках. В 1784 году он разошелся с женою; простая, бесхарактерная и кое-как воспитанная, графиня Варвара Петровна давно уже надоела вспыльчивому вольтерьянцу-мужу своею набожностью, суеверием и совершенною беспомощностью.
После рождения младшего сына своего, Кирилла, графиня должна была покинуть детей и выехать из дома Разумовского. Графиня очень боялась мужа и с разбитым сердцем оставила нежно любимых детей.
По словам А. Васильчикова, графиня купила себе в Москве, на углу Маросейки и Лубянской площади, место и выстроила там дом по образцу флигеля, существовавшего при доме ее свекра. После изгнания жены граф удалился от света и стал редко видеться не только со знакомыми, но даже с самыми близкими родственниками.
В 1807 году Разумовский был назначен попечителем Московского университета и его округа. По получении места одной из главных забот его было переведение университета в более пространное и удобное помещение.