Когда князь был губернатором всей Сибири, то делал очень много добра сосланным туда пленным шведам, для которых в первые три года своего управления истратил будто бы до 15 000 рублей собственных денег.
Князь Гагарин удивлял царскою пышностью в Сибири. У него за столом подавали кушанья на пятидесяти серебряных блюдах, сам же он ел только на золотых тарелках. Колеса его кареты были также серебряные, и лошади подкованы серебряными и золотыми подковами. Гагарин прежде пользовался большим доверием императора и потому стал почти самовластно управлять обширною и богатою страною.
В числе сокровищ князя находился драгоценный рубин, привезенный ему из Китая; впоследствии этот рубин достался, в виде подарка князя, Меншикову и от него перешел к императрице Екатерине I. Сын Гагарина, путешествовавший за границей, до того сорил деньгами, что иностранцы считали молодого князя за какого-то набоба.
Когда происходило следствие над отцом, то и у сына спрашивали: «Как он поехал за море, что с ним было от отца его отправлено денег, и золота, и товаров, а также через векселя; в бытность за морем сколько денег и товаров, и золотых, и прочих вещей через него получал, и что всей суммы в ту его бытность за морем издержано».
Петр, узнав о злоупотреблениях в Сибири Гагарина, вызвал его в Петербург под тем предлогом, что назначает его участвовать в суде над царевичем Алексеем Петровичем, а сам, между тем, отправил для разведки о действиях губернатора одного полковника, a следом за ним – и своего денщика Егора Пашкова.
Первый из этих ревизоров, подкупленный в Петербурге на сторону Гагарина князем Меншиковым, скрыл все губернаторские злоупотребления и за это поплатился своею головою. Пашков же рассказал Петру всю правду об ужасном лихоимстве князя.
После следствия признано было, что Гагарин утаил на Вятке от отпуска за море хлеба в 1716 году и некоторое количество его раздал иноземцам за алмазные вещи; брал себе казенные деньги, получал взятки от откупщиков и даже грабил купеческие караваны. Князь после пытки, как мы уже говорили, был повешен.
Великолепные палаты Гагарина в царствование Екатерины II принадлежали внуку казненного, князю Матвею Алексеевичу; а когда линия этих князей Гагариных пресеклась в 1804 году за смертью внучки казненного, графини Матюшкиной, то в 1805 году владела ими мать графа Платона Зубова;– потом переходили они в руки купцов Часовникова, Крашенинникова и Дубицкого, и затем к Д А. Олсуфьеву.
Дом Гагарина в век Петра Великого представлял немалую диковинку не только на Тверской улице, но и по всей Москве; построен он был по образцу венецианских дворцов. Четырехэтажные палаты эти выходили фасадом на улицу, образуя портал с двумя павильонами; в уступах между ними на арках устроена была открытая терраса с балюстрадою.
В бельэтаже у портала и в павильонах висели балконы из белого камня, украшенного вычурною резьбою. Наличники и сандрики над окнами состояли из орнаментов, искусно высеченных из белого же камня. Над подъездными воротами видно было клеймо, увенчанное княжескою короною и запечатленное следующею надписью: