В елизаветинское время эта местность принадлежала государственному канцлеру графу Алексею Петровичу Бестужеву-Рюмину, одному из богатейших вельмож своего времени.
Дом канцлера был построен в 1753 году по самому точному образцу существующего его дома в Петербурге: все комнаты были здесь расположены точно так, как в петербургском доме. Это было сделано для того, чтобы не отставать от своих привычек.
По словам современников, у канцлера роскошь в палатах была изумительная; так, в загородном его доме даже веревки, которыми придерживались роскошные ткани его палаток, были шелковые, a находившийся при доме погреб был так значителен, что от продажи его после смерти канцлера графам Орловым составился, как говорит князь Щербатов, «знатный капитал».
У Бестужева одной серебряной посуды было более двадцати пудов. Несмотря на такое богатство, канцлер то и дело жаловался на свои недостатки и просил у императрицы, «дабы ее императорское величество ему, бедному, милостыню подать изволила», или писал царице, что у него нет ни ножей, ни вилок, и просит себе придворного сервиза, присовокупляя, что он заложил за 10 000 рублей табакерку, подаренную ему королем Шведским, так как ему не с чем было дотащиться до Петербурга.
В Москве у Бестужева был не один дом; один из его домов находился еще в приходе Бориса и Глеба, что у Арбатских ворот. В этой церкви был поставлен его портрет, как возобновителя древнего храма; он выстроил этот храм в 1764 году.
Бестужев впал в немилость императрицы в 1758 году. Преданный интересам Австрийского двора, он поселил в императрице неприязнь к Фридриху Великому и вовлек Россию в разорительную войну, стоившую государству более трехсот тысяч народа и тридцати миллионов рублей. Во время опасной болезни Елизаветы он написал к своему другу Апраксину, успешно тогда воевавшему в Пруссии, чтобы тот со всем войском немедленно возвратился в Россию. Победитель Фридриха, Апраксин, к удивлению всей Европы немедленно двинулся в отечество. Императрица выздоровела и, справедливо негодуя на Бестужева, лишила его чинов и предала суду, который приговорил его к смертной казни. Елизавета помиловала Бестужева и, назвав его в манифесте «бездельником», состарившимся в злодеяниях, сослала Бестужева в его подмосковную «Геротово», где он жил в курной избе, носил крестьянское платье, читал божественные книги и сочинял разные назидательные трактаты. Петр III вызвал из ссылки своего личного врага, Екатерина II возвратила ему все, чего он был лишен, и за старостью лет уволила его в отставку с пенсиею в двадцать тысяч рублей в год сверх жалованья по чину.
В отставке Бестужев не был праздным: он переводил книги, выбивал золотые и серебряные медали с разными эмблематическими воспоминаниями и предвещаниями, составлял медикаменты и проч. Бестужев был образованнейший человек своего времени, отличался трудолюбием, но имел капитальные недостатки: был горд, мстителен, неблагодарен, вел жизнь невоздержную, хотя вместе с тем и отличался набожностью.
Он умер в 1766 году, оставив одного сына, графа Андрея, не одаренного талантами отца; последний вел жизнь беспутную, праздную и умер спустя два года после отца, не оставив потомства.
Московский дом Бестужева, тот, который находился на реке Яузе против Екатерининского дворца и возле дворца, именуемого Лефортовским, Екатерина II купила у его наследников и 3 июля 1787 года, накануне своего выезда из Москвы, подарила графу Безбородко.
Безбородко в письме к своей матери в день получения дома описывал этот случай так: