У себя в саду он выстроил уединенную келлию и поселился в ней. Тут он читал Священное Писание и книги св. отцов; время проходило еще в молитве, посте и рукоделии, чтоб питать себя.
После двух лет такой жизни, Иван отправился на поклонение в Киево-Печерскую Лавру, оттуда ходил в Соловки.
Вернувшись, он поселился опять в своей келлии, весь уйдя в духовное чтение.
Прослышав про опытность в духовной жизни архимандрита Песношского монастыря Макария, Иван собрался поступить в этот монастырь. Предварительно он обеспечил престарелую свою мать достаточным пропитанием.
В монастыре Иван просил архимандрита непосредственно руководить им, на что тот и согласился. Руководителю пришлось не возбуждать, а сдерживать ревность Ивана. Видя его способности и высокое настроение, архимандрит хотел постричь его в монахи и поручить ему послушание казначея.
Иван испугался, зная, сколько рассеяния принесет ему эта должность, как она лишит его возможности самоуглубления, нарушит мир его внутренней, сосредоточенной жизни.
Он тайно ушел из Песношского монастыря, выбрал себе уединенное место в дремучих лесах Порховского уезда, устроил себе хижину в подошве горы и поселился в ней. Вскоре к нему присоединился его брат Феодот. Трудную жизнь в пустыне отшельники отягчали еще разными подвигами. О пище заботиться им было нечего: ее доставлял им один добрый крестьянин.
Так провели они четыре года. Здесь приобрел Иоанн очень много: горячую любовь к ближнему, чистую, углубленную молитву, смирение и утешительные слезы, которые в минуту сосредоточенности лились у него из глаз, доставляя ему высокую отраду.
рез четыре года этой жизни, во время отсутствия Феодота, пришли к Иоанну двое разбойников с ружьями, требуя денег. Они не поверили ответу Иоанна, что денег у него нет, и кормятся они милостыней, и один из разбойников стал прицеливаться в Иоанна.