Главные вины Голицына состояли в том, что он и его приверженцы о всех делах докладывали ранее царевне, а не государям, писали от нее грамоты и печатали имя Софьи в книгах без соизволения царского, и что вследствие неудачных походов его в Крым казна понесла великие убытки. За все это Голицын был лишен боярства, всего имения и выслан в гор. Яренск Голицын с твердостью выслушал приговор и произнес вслух:
«Мне трудно оправдаться перед царем!»
В тайниках его палат были найдены скрытыми в погребе 100 000 червонцев и 400 пудов серебряной посуды; кроме других сокровищ ему принадлежало богатое подмосковное село Медведково, принадлежавшее прежде князю Д. Пожарскому.
При этом еще обнаружилось, что знаменитый боярин, не довольствуясь милостью царевны, приобретал богатство и другими еще нечестными способами. Так, в числе разных описанных у него драгоценностей, найдена была осыпанная алмазами булава, отнятая им у малороссийского гетмана Дорошенко, получившего ее в подарок от турецкого султана Селима IV. Другая такая же булава была пожалована ему царями при отправлении его в Крымский поход. Желябужский пишет, что в 1686 году при заключении мира с Польшею из 200 000 руб., следовавших к уплате Польше, Голицын выговорил себе тайно половину этой суммы.
Он же говорит, что князь, остановившись у Перекопа, взял от крымских татар две бочки с золотой монетой, почему и донес в Москву, что дальше идти нельзя, так как нет ни хлеба, ни воды. Татары, однако, надули Голицына; когда взятые им у них золотые монеты явились в продаже в Москве, то они оказались медными, с тонкою лишь позолотою. Впоследствии Голицын был переведен в Пинегу, где ему на каждый день выдавалось на содержание по 30 алтын и 2 деньги.
Князь Голицын там и умер в 1713 году, 80 лет; тело его погребено в Красногорском монастыре, в 16 верстах от Холмогор.
У князя Василия было двое сыновей: князь Михаил, умерший бездетным, и князь Алексей, женатый на М. И. Квашниной, от которой и имел двух сыновей; один из них, князь Михаил, состоял шутом при дворе императрицы Анны Иоанновны, он известен под именем Квасника; название это он получил за обязанность свою подавать императрице квас, а также присматривать за любимой собачкой; за охранение последней он при заключении Белградского мира получил 3 000 рублей. Внук знаменитого боярина был от природы слабоумным; он служил при Петре I в полевых полках, где дослужился до майорского чина. Потеряв первую свою жену, он испросил себе позволение отправиться за границу, где во время пребывания во Флоренции влюбился в простую итальянку, женился на ней и перешел в католичество. По приезде в Москву он тщательно скрывал от всех свое ренегатство и жену, но это скоро обнаружилось и дошло до государыни. Поступок его был объяснен крайним слабоумием; его велено было представить ко двору. Государыня осталась от него в восхищении 93 и писала к Салтыкову:
«Благодарна за присылку, он здесь всех дураков победил; ежели еще такой же в его пору сыщется, то немедленно уведомь».
Голицын был вскоре обвенчан в историческом Ледяном доме на Неве с калмычкою Авдотьею по прозванию Бужениновой.
Через девять месяцев после этой свадьбы императрица скончалась и должность придворного шута упразднилась. Голицын отправился в Москву, где жена его вскоре умерла, и князь уже около семидесяти лет вступил в четвертый брак – с А. А. Хвостовой, с которой прижил трех дочерей. Он умер в 1778 году, в глубокой старости; могила его еще видна в селе Братовщине, по дороге от Москвы в Сергиевскую Лавру.