Через десять лет по назначении на воронежскую кафедру с преосв. Иосифом случилось несчастие, давшее новое направление его жизни.
Слабость зрения была семейным недостатком в родной семье его. При плохом зрении, по служебным обязанностям постоянно вынужденный много читать, он в конец испортил свое зрение.
Однажды, служа в одной приходской церкви, он начал читать евангелие, вдруг прервал чтение и потребовал свечу — одну, другую, несколько, но едва-едва, с подсказыванием служащих, мог дочесть евангелие. С этого дня зрение не возвращалось.
Удивительную при этом он оказал выдержку характера и заботливость к людям. В этот потрясающий для него час он не отказался зайти к чаю в дом церковного старосты, и уже оттуда приехал домой.
По предложению митрополита Филарета, он поехал лечиться в Москву, но безуспешно, и в 1864 г. он перестал видеть даже дневной свет.
Тогда он уволился на покой и провел 27 лет в нижнем этаже архиерейского дома в Митрофаниевом монастыре.
Это было время сплошных подвигов.
Жизнь вел он размеренную, не допуская отступлений.
Ложась в час, он вставал в пять и пел священные песни — пасхального канона, великого канона "Помощник и Покровитель", величания и тропари святым.
Одевался, умывался и приводил в порядок постель он всегда сам.