Поутру слышно было, как он распевал духовные стихи. В 1812 г., при нашествии на Смоленск Наполеона, Ивана Яковлевича видели у неприятельского лагеря, где враги наносили ему оскорбления.
После войны он продолжал жить в той же бане, и тут стал уже иногда принимать приходивших к нему за советами. Чрез пять лет в его судьбе произошла большая перемена.
Проезжал чрез Смоленск один высокопоставленный, уже не молодой человек, очень избалованный. Ему приглянулась дочь бедной вдовы-чиновницы, бывшая, действительно, красавицей.
Узнав, что на деньги она не польстится, он решился прибегнуть к обману. Он выдал себя за холостого и просил ее руки, с тем, чтоб брак был совершен по приезде их в Петербург. Бедная мать была в страшном колебании. С одной стороны виделась привольная жизнь дочери, обеспечение ее в собственной ее старости; с другой — страшно ей было отпускать так далеко дочь без себя, как того требовал жених. Посоветываться ей было не с кем; кто-то надоумил ее сходить к Ивану Яковлевичу. Иван Яковлевич, выслушав от нее про все обстоятельства, приказал ей не отпускать дочь, пояснив, что тот человек женат и имеет троих детей, а при живой жене не женятся. Вдова наотрез отказала мнимому жениху.
Замуж молодая девушка, после того, как все это огласилось на далекое расстояние, выйти не решалась. Она поступила в монастырь, была игуменьей и постоянно находилась в переписке с Иваном Яковлевичем.
Ярость обнаруженного обманщика обратилась на Ивана Яковлевича. Чрез свои связи он добился того, что Ивана Яковлевича признали человеком, которого опасно оставлять на свободе. Было решено засадить его в дом умалишенных в Москве.
Так как в Смоленске Ивана Яковлевича любили, то его вывезли тайно: связали по рукам и по ногам, прикрыли рогожами, так что встречные и не думали, что в телеге живая кладь.
17 октября 1817 г. он был доставлен в Москву, сдан в качестве буйного больного в Преображенскую больницу для умалишенных, и заключен в одиночном подвальном помещении. Его приковали в углу подвала к стене, бросили ему клок соломы для спанья. К нему приставлена была грубая злая женщина, приносившая ему, когда ей вздумается, ломоть хлеба и кружку воды. Так прожил он три года.
Один блаженный, Александр Павлович, содержавшийся тоже в Преображенской больнице, обратил внимание молодого богатого суконщика, навещавшего его часто, на бедственное положение Ивана Яковлевича. Тот не пожалел никаких затрат, чтоб добиться от начальства больницы доступа к Ивану Яковлевичу. Он застал его в тесной темной яме, в углу ее в ужаснейшей обстановке. Суконщик стал посещать узника, за ним и другие.
В конце двадцатых годов старшим доктором назначен был в больницу г. Саблер, человек доброй души.