С кончиною старой княгини семейные ссоры опальных Долгоруковых стали все чаще и чаще. Алексей Григорьевич сильно не ладил с сыном Иваном, бывшим царским фаворитом, и постоянно преследовал его упреками в том, что тот будто виновник всех их бед и несчастий.
-- Все наше горе и наше несчастье из-за тебя, Иван! -- кричал на него Алексей Григорьевич.
-- А чем же я-то, батюшка, виновен?
-- А почему ты не дал умиравшему государю подписать духовную, почему?
-- Да потому, что это -- дело бесчестное, недостойное...
-- А нас в Сибирь-то сослать, по-твоему, было достойно?
-- По нашим делам-то, пожалуй, мы и достойны...
-- Вот как, вот как! Ну не враг ты нам после этого, а? Не злодей ты нам? Из-за тебя мать в сырую землю пошла, сестры в ссылке тают, а про себя я и не говорю. Ну, не думал, не гадал, что ты врагом нашим будешь, что через тебя мы ссылку терпеть будем...
-- Неизвестно, батюшка, кто из-за кого терпит! Ведь, по правде сказать, и ты, и я -- все мы виновны перед покойным государем, моим благодетелем и другом.
Во время взаимных укоров друг друга у Долгоруковых, по историческим данным, вырывались неосторожные выражения об их прежнем величии, проскальзывала весьма понятная ненависть к Анне Иоанновне. В 1731 году, по донесению капитана Шарыгина, возникло дело об этих ссорах, и 9 декабря 1731 года, по выслушании выдержек из этого дела, последовал следующий именной указ: "Сказать Долгоруковым, чтоб они впредь от таких ссор и непристойных слов воздержались и жили мирно под опасением наижесточайшего содержания".