Князь Иван открыто вел связь с Трубецкой, нисколько не стесняясь ее мужа; по словам его современника, князя Щербатова, он, бывая у князя Трубецкого с другими своими молодыми сообщниками, "пивал до крайности, бивал и ругивал мужа, бывшего офицером кавалергардов, имевшего чин генерал-майора и с терпением стыд свой от жены сносившего".
-- Скажи мне, ты все-таки решил жениться на Наталье Шереметевой? -- сердито посматривая на князя, спросила Трубецкая.
-- Все-таки решил, ведь тебе известно об этом.
-- А я-то как же?
-- А ты, Настя, при своем муже будешь, -- насмешливо ответил Долгоруков.
-- Грех тебе, Ваня!.. Меня, женщину, которая тебя так горячо любила, а может, любит и теперь, ты променял на девчонку. Чем она лучше меня? Моложе, только и всего...
-- Молчи! Можешь ли ты равнять себя с моей Наташей? Она и ты -- ведь это рай и ад. Если, Настя, хочешь, чтобы я слушал тебя, не говори ни слова о Наташе. Она -- святая!
-- Святая!.. Ишь, что выдумал!.. Святая, пока...
-- Молчать, говорю! -- крикнул князь.
-- Что ты кричишь, злодей? Или драться со мною задумал? Что же, бей меня!.. -- И княгиня Трубецкая заплакала.