Для удовлетворения своих роскошных затей и предприятий он пользовался значительным кредитом и выстроил на Тверской улице дом, принадлежащий затем Шевалдышеву, в котором помещается его гостиница. Дом строился под личным его надзором, причем употреблялись самые лучшие и дорогие материалы, построен он был самым великолепным образом, а меблирован так, что в то время в Москве трудно было отыскать другой подобный дом.
Во время службы Шульгина в Москве про него ходило множество рассказов. Так, при переводе К Я. Булгакова из московских почт-директоров в петербургские, он говорил брату его Александру:
«Вот мы и братца вашего лишились. Все это комплот против Москвы. Того гляди и меня вызовут. Ну уж если не нравится Москва, так скажи прямо: я берусь выжечь ее не по-французски и не по-Ростопчински, а по-своему, так, что после меня не отстроят ее во сто лет».
Он же говорил: «Французы – ужасные болтуны и очень многословны. Например, говорят они: “Коман ву порте ву?” К чему это два “ву”? Не простее ли сказать: “Коман порте?” И так каждый поймет». Когда он был в Москве обер-полицеймейстером, то военным губернатором был в ней князь Дмитрий Владимирович Голицын. Шульгин не ладил с губернатором и не скрывал этого ни от кого.
Голицын, ценя его неутомимую деятельность и труды, не обращал на эти личности внимания и каждый раз ходатайствовал о наградах ему.
В 1824 году Шульгин был переведен из Москвы в Петербург. По отъезде своем в Петербург он отправил все свое имущество с особым обозом. Неподалеку от Новгорода встретил этот обоз граф Аракчеев и обратил внимание на длинный ряд разных блестящих экипажей и походных фур, множество превосходных и ценных верховых и упряжных лошадей и щегольски одетую в форменное платье прислугу.
Остановясь и подозвав к себе одного служителя, он спросил: «Кому все это принадлежит?» На ответ же его, что с. – петербургскому обер-полицеймейстеру Шульгину, он сказал: «Скажи ему, что всего этого никогда не было и нет у самого Аракчеева».
Вслед за событием 14 декабря 1825 года Шульгин был уволен от своей должности и переехал в Москву. Он сперва поселился в своем доме; средства его к жизни ограничились одним пенсионом, явились долги, и в конце концов все его вещи были проданы, как и дом, с аукциона.
А. Дюран. Боровицкая башня. 1843 г.