В первое время ссылки князя Ивана Долгорукова мучили угрызения совести -- сказывалась его добрая, податливая натура. Часто он, вспоминая императора-отрока, горько плакал.
Однажды, говея в великий пост и исповедуясь у священника Рождественской церкви, он на духу сказал, что мучится тем, что подписал духовную под руку государя.
-- Где же эта духовная? -- спросил у него священник.
-- Уничтожена, -- ответил князь Иван.
-- Молись, Бог простит!
С того дня Иван Алексеевич стал спокойнее.
Самыми драгоценными вещами князь Иван считал два патента, подписанных императором-отроком; первый был дан князю Ивану на звание гоф-юнкера, другой -- на обер-камергера. Эти патенты князь берег как святыню и часто любовался на них вместе со своею доброю и кроткою женой. Патенты живо воскрешали перед ним недавнее блестящее прошлое и вызывали слезы при воспоминании о друге-императоре, переносили из острога в роскошные палаты царственного дворца, на придворные торжества, в которых ему приходилось играть первенствующую роль по званию камергера.
-- Куда девались величие, слава, могущество? Все миновался и безвозвратно! -- печальным голосом проговорил князь Иван, обращаясь к своей жене Наталье Борисовне.
-- Будь терпелив, Иванушка! Воля Божья: Бог дал, Бог и взял.
-- Я-то притерпелся, мне что, а вот как ты, голубка? За что ты терпишь? Мне поделом, а ты-то невинная.