С тех пор, как старец стал появляться по вторникам у алтарных дверей, к нему стало тесниться множество народа; многие из этих людей спрашивали у него советов. Эти беседы с мирянами сильно тяготили старца.
В последние годы жизни о. Иоанн проявлял иногда в своих действиях странности, похожие на юродство. Однажды Т. Б. Потемкина привела в келлию к нему своего брата, настроенного против монашества. Вместо духовной беседы, — старец стал усиленно просить посетительницу озаботиться, чтоб сняли с него портрет, говоря, что он очень нужен. Такое, как казалось, тщеславие, очень неприятно поразило посетителей. Но портрет был по неоднократным настояниям старца сделан, и по смерти его многим оказался нужен и полезен. В другой раз один благодетель монастырский, желая видеть знаменитого затворника, вошел в пещеру его, а о. Иоанн стал просить о помощи бедным своим сродникам. "Ты умер миру, отче; ты мертвец в мире, какие у тебя родные!" — обличал его посетитель, и с огорчением вышел. Такие поступки, несомненно, имели целию принять укоры от таких людей, которые шли к о. Иоанну, как к праведнику: он трепетал хвалы человеческой, и предпочитал ей оскорбления. А между тем народная молва повторяла имя подвижника, как святого старца, и действовавшие в нем, ясно проявлявшиеся дары исцеления, молитвы, прозорливости, свидетельствовали о достигнутой им степени совершенства. Он изгонял бесов, называл по имени лиц, в первый раз им видимых, открывая им их тайны.
Приближалось время отшествия старца. Силы его упадали. Его утружденное тело страдало. Поломавшиеся вериги, врезавшись в спину, образовали язвы, в которых роились черви; когда вериги обложили кожей, они все же причиняли страдание. Ноги от постоянного стояния опухли и были в язвах. Желудок не принимал пищи. Появился сильный кашель. Совершать поклонов старец не мог, и все молился, лежа в своем гробе. Подвижник говорил о месте своего погребения. Сперва хотел он быть погребенным в своей пещере, но потом сказал: "Неудобно, панихиды тесно служить будет"; просил, чтоб по смерти его не затеряли его вериг.
В Пасху 1867 г., о. Иоанн, войдя, по обычаю, в монастырь, осмотрел здание строившегося собора и походил по монастырю, чего раньше не делал, как бы прощаясь с ним. В августе он окончательно ослабел. Настоятель архимандрит Герман, опасаясь, чтоб старец в своей пещере не умер неведомо, без напутствия, решил переместить его в монастырскую больницу, находившуюся на хуторе, в версте от обители. На отказ старца, он напомнил ему об обещании, данном почившему о. Арсению — при первом требовании оставить затвор. Тогда старец беспрекословно повиновался. Это великое послушание было венцом подвигов затворника.
В больничной келлии прожил он 8 дней. Снятые с него вериги были поставлены около него, также и медный крест, материнское благословение, который иметь на себе у него не хватало уже сил. Он убедительно просил, чтоб этот крест положили с ним в гроб, Он прощался с приходившею навестить его братиею, раздавая им свои немногие вещи — иконы, книги, схиму, четки. Старец был особорован. 11 сентября, приобщившись, он сказал, что сегодня отойдет. К нему пришел настоятель и предложил схоронить его у алтаря больничной церкви. Он не прекословил.
По выходе настоятеля мертвенно бледное лицо о. Иоанна просветилось, и на нем заиграл румянец, он улыбнулся, видя что-то радостное. К вечеру разразилась страшная гроза. Ветер, гудя, гнул деревья и подымал по дорогам столбы пыли, гром гремел сильными раскатами, и молния сверкала почти непрерывно. Казалось, что бессильные пред смирением праведника враги души его выражали свою злобу возмущением стихий. В шестом часу старец с молитвою на устах безмятежно предал дух Богу. Гроза утихла, настала тишина и покой освеженной дождем природы. Светлый лик почившего сиял радостью.
Убрав тело, на грудь положили медный крест; так как мантия почившего была в монастыре, его завернули в чужую, а его мантия промыслительно осталась в монастыре.
Его схоронили у алтаря больничной церкви, во имя Ахтырской иконы Богоматери. Могилу вырыли в прочном меловом грунте, не потребовавшем ни свода, ни склепа, и этот покой его близко напоминал его вольный затвор. Теперь могилу о. Иоанна осеняет чугунный крест под навесом. Деревянный крест и вериги сохраняются в пещерной келлии, где теплится неугасимая лампада, при свете которой богомольцем овладевает невольное удивление сил духа умершего старца. Схимы, мантия и скуфья о. Иоанна находятся при больничной церкви.
Не прошло года по кончине о. Иоанна, как на могиле его начали твориться знамения и исцеления. После двух таких исцелений бесноватых над могилою старца, скопление народа, приходившего служить по старце панихиды, умножилось, и монастырские власти, боясь нареканий, донесли преосвященному Харьковскому Макарию (впоследствии митр. Московскому) о случающихся исцелениях и о стечении народном на могиле затворника. Было велено тщательно записывать все такие случаи, с достоверными свидетельствами, завести особую для того книгу и не стеснять народное усердие в служении панихид.