В другой раз тот же келейник был послан о. Иларионом к Иоанну с таким предупреждением: "Скоро будет тебе искушение. Во время молитвы в келлии твоей пронесется вихрь. Лампады пред св. иконами закачаются и погаснут, но ты стой твердо и веруй, что Господь не пошлет тебе искушения выше сил. Затем лампадки у тебя зажгутся сами собой. Но ты их так не оставляй, а погаси, потом достань огня из печки и с молитвою опять зажги их". Все так и случилось. О. Иларион предохранил затворника и от страха и от обольщения.
Между тем, хотя здоровье все слабело, о. Иларион не оставлял своей трудной жизни. По-прежнему и зиму, и лето он ходил в холодном халате и без обуви. Когда в сильные морозы он босой приходил в церковь и становился неподвижен на чугунном полу, то около его ног была заметна оттепель.
Когда князь Долгоруков умер, то дворня опустевшей усадьбы старалась выжить о. Илариона. Молодому князю, жившему постоянно в Москве, они доносили, что на подвижника одной покупной провизии в год выходит на 800 р. Князь приезжал нарочно исследовать эту клевету и, убедившись в ее несправедливости, приказал всячески беречь о. Илариона. Но дворня после отъезда князя стала обращаться с подвижником еще хуже.
Зимою келлии не топили по нескольку дней, или натапливали очень жарко и рано закрывали трубу; не давали пищи; однажды от небрежности случился пожар, и о. Иларион должен был заливать его один без посторонней помощи. Наконец, в 1819 г. он просил почитавшую его семью Сухановых помочь ему переехать и перешел в село Колычево, но и тут должен был переменять несколько раз свое местопребывание.
В последнее время пребывания в Колычеве старец часто живал у помещика Менщикова, который для него устроил в глубоком овраге келлию и обил ее внутри черным сукном. Тут отец Иларион, все слабевший, написал и свое духовное завещание: "Во имя Отца и Сына, и Святого Духа. Аминь. Боже жизни, у Которого мертвых нет! Все бо нисходящие во гроб к Тебе текут и у Тебя собираются в невидимом мире, — (Тебе живи суть, где тянут веки), куда вход нам неизбежен, исход невозможен. Боже праведный! У Тебя мерило наших дел. Ужасаюся и трепещу, готовяся с часу на час к исходу от сей маловременной жизни предстать на вечное пребывание. И возвращаюсь в землю, от нее же взят был.
Рассудил я все свои тленные вещи представить тленным же людям. Молю и прошу, по кончине дней моих, раздать все мое беднейшее имение самобеднейшим, да нестяжание мое видимо будет там, пред лицем Господа Бога моего. Я виновен против всех, прошу меня простить. А я от всей души моей прощаю всех. Убогий архигрешник Иларион-отшельник".
В Лебедянском уезде жил в своем поместье Троекурове именитый и богатый человек Иван Иванович Раевский. Это был замечательный человек. Он посвятил всю свою жизнь на служение ближним и церкви; отыскивал бедных и помогал им, жертвовал много на бедные деревенские храмы. Троекуровский помещик Раевский, горячо привязавшийся к о. Илариону, неотступно просил его поселиться в Троекурове. О. Иларион отправился на богомолье в Киев, прося у Бога вразумления. На возвратном пути в дремучем лесу был ему голос: "Будет тебе ходить! Спасайся на одном месте". В благоговейном трепете блаженный упал на землю, прославляя милосердие Господа, открывающего волю Свою со смирением молящимся Ему; — о. Иларион тут же дал обет остаться до смерти на месте, на которое благоволил указать ему Господь.
В начале ноября, 1824 года, ранним утром о. Иларион переехал из Колычева в Троекурово в выстроенную для него келлию, состоявшую из трех комнат, украшенных св. иконами и снабженных всем необходимым. Иван Иванович Раевский сам отправился в Колычево за о. Иларионом, который только что за несколько часов до его приезда возвратился из Киева, и лично доставил старца на его новое местожительство.