Купцы в первое время, по старой памяти, его несколько раз выручали из беды, но под конец от него отказались. Шульгин с горя стал придерживаться чарочки.
Из бывшего своего великолепного палаццо он переехал в убогий домишко в три окна на Арбате, и здесь прохожие нередко видели, как на дворе, в ветхом, замасленном халате он колол дрова или сам рубил капусту.
Под конец его жизни, в его безвыходное положение вошел князь Д. В. Голицын и, припомня о нем одно хорошее, забыв обо всем дурном, сделался его благодетелем, платил за квартиру и снабжал его пищею. В таком положении Шульгина и застала смерть около 1832 года.
В конце царствования Екатерины, императора Павла и в первые годы Александра I славился, по рассказам современников, дом графа Каменского на Зубовском бульваре 79. Дом этого любимца Павла был типом московского барского дома прошлого века. По словам Е. Ковалевского 80 и графини А. Д Блудовой 81, в этом доме со всеми утонченностями западной роскоши и светскости сливались и все русские и татарские древние обычаи.
Р. Курятников. Вид гостинного двора на Ильинке. 1824 г.
Дом Каменского наполняли мамы, няни, калмычки, карлицы, турчанки, т. е. взятые в плен турецкие девушки, подаренные по возвращении из армии наших военных знакомым дамам, крещеные ими в православную веру и кое-как воспитанные.
В этом доме сохранялась вся русская уродливая жизнь, со строгостью нравов и суеверием.
В домашнем театре играли комедии Вольтера и Мариво, и в важных семейных торжествах, как, например, при свадьбах, сенные девушки пели русские обрядовые песни, как в допетровской Руси. Блудова рассказывает, что, когда дочь фельдмаршала выходила замуж, горничные девушки и приживалки пели свадебные песни ежедневно во все время между помолвкой и свадьбой, так что наконец попугай графини выучился напеву и некоторым словам так твердо, что продолжал петь их, когда невеста давно была замужем уже за вторым мужем.
Хозяйка дома, графиня Анна Павловна Каменская, урожденная княгиня Щербатова, была одна из первых красавиц своего времени, благородная душой, добрая сердцем, мягкая нравом; о ней вся Москва говорила, как об ангеле во плоти.