Но вот настали для блаженного Авраамия искушения, преимущественно от своей братии. Смотря с завистью на то, что познания и красноречие его привлекали к нему многих, как иноков, так и мирян, некоторые стали выдумывать разную клевету на преподобного и наносили ему разные огорчения; пять лет терпел он все неприятности, не преставая наставлять приходивших к нему. Наконец, восстал против него и игумен. Блаженный уступил место вражде и оставил обитель.
Изгнанный праведник перешел в город и стал жить в бедном монастыре Св. Креста. Здесь еще более народ стал стекаться к Авраамию. Многие приносили ему пожертвования, которые употреблял он в пользу монастыря и храма, или же раздавал нищим; он украсил храм Божий иконами, завесами, свечами. Сам он написал две иконы: на одной изобразил страшный суд, на другой мытарства. На этих иконах он часто останавливал внимание свое и других, возбуждая к покаянию.
Он проводил такую строгую жизнь, что от поста и трудов был крайне сух и бледен. Вина он совсем не вкушал и воду пил в меру, не любил дорогих одежд, а одевался в худые. Совершая сам с благоговением литургию, он не терпел того, чтобы предстоявшие разговаривали во время литургии, и строго внушал стоять в храме со страхом Божиим. Он усердно предлагал наставления, в храме и в келье. «Уста его не умолкали для великих и малых людей, для рабов и свободных, для ремесленников и других, приходивших то на церковное пение, то для бесед… Когда облекался он в священнические одежды, то походил на великого Василия, украшенный такою же черною брадою, но с главою безвласою».
На Авраамия поднялось городское духовенство, огорчавшееся тем, что он привлекал к себе множество духовных чад. Начали распускать слухи, что Авраамий, то еретик, — читает «голубиные книги», то живет нечисто, прикрывая темные дела наружной святостью; наконец, подняли такое волнение в городе, что знать городская явилась к епископу Игнатию, и просила подвергнуть Авраамия суду. Злость против Авраамия до того была велика, что иные требовали сжечь его на костре; другие настаивали, чтобы Авраамия водить по улицам с побоями и потом бросить в воду.
Посланы были слуги привести Авраамия на суд. Авраамий стоял на молитве, они схватили его и двух учеников его и потащили с бесчестьем и бранью к епископу. Один благочестивый инок, Лука Прусин, старался образумить притеснителей праведника. Но его не слушали. На суде епископа, совершавшемся в присутствии князя и вельмож, все обвинения оказались клеветой. Но духовенство требовало осуждения. Князь и вельможи говорили, что не видят они вины в Аврааме; епископ, для общего покоя, повелел Авраамию удалиться в Богородичный монастырь, запретив ему беседовать с людьми и совершать священнослужение.
Благочестивый смоленский священник Лазарь, тот самый, который после Игнатия был епископом, пришел к епископу Игнатию и сказал: «Город строго будет наказан, если не раскается в своей несправедливости против Авраамия». И точно, скоро наступила страшная засуха в стране Смоленской. Напрасно совершались молебствия о дожде с крестным ходом вокруг города, — дождя не было. Блаженный Игнатий чувствовал, что он оказал слабость, сделав уступку проискам злобы. Он послал сказать врагам Авраамия, чтобы пришли в себя и перестали поносить Авраамия. По их милости он находился под такой строгой опалой, что мечники стерегли на дорогах и не пускали никого к нему, а иных и грабили. Один благоговейный священник, явившись к епископу, сказал: «Мы молились Богу, и не были услышаны — не от того ли это, что невинному Авраамию запрещено священнодействовать?» Тогда епископ, призвав к себе Авраамия, разрешил ему священнослужение, просил у него прощения себе и городу и молитв его о дожде. Угодник Божий с глубоким смирением называл себя грешником, недостойным милости Божией, но обязанным исполнить волю святителя. Возвращаясь в обитель, дорогой молился он в душе о дожде, и еще не дошел до обители, как сильный дождь напоил жаждущую землю. Все увидели в этом силу молитв праведника, все признали невинность Авраамия и стали высоко уважать его.
Блаженный святитель Игнатий, построив близ города новый монастырь в честь положения ризы Богоматери, «почтительно», через протопопа Георгия, пригласил к себе блажен. Авраамия и поручил ему настоятельство в новой обители. Преподобный скоро украсил новый храм иконами и утварью. По-прежнему стали стекаться к преподобному бояре и простолюдины, богатые и бедные, чтобы пользоваться наставлениями его. Много было желавших поступить в Авраамиеву обитель, но преподобный принимал их весьма разборчиво и после испытаний, так что у него было только 17 братий. Авраамий пережил духовного друга своего, епископа Игнатия. После его смерти он еще более прежнего стал готовиться к исходу из этой жизни, молился день и ночь о том, чтобы не быть осужденным на суде Божием, и внушал братии помнить о смерти.
Авраамий скончался не позже 1220, а ученик его Ефрем не ранее 1238 г.
Служба «на память препод. отца нашего Авраамия Смоленского чудотворца и ученика его Ефрема» молит преподобных: «Молитеся Христови даровати православным людем избавление от поганских пленений… молите милостиво, да нас избавит от Агарянских обстояний». Очевидно, эта служба составлена была под гнетом языческого татарского ига. Поэтому нет сомнения, что если не прежде, то в конце XIII века в Смоленске уже чтили память преп. Авраамия и ученика его.
В 1608 году смольняне писали, что обещали они Господу и угодникам Меркурию, Авраамию и Ефрему, стоять за дом Богоматери до смерти. Мощи преп. Авраамия почивают в каменном храме обители его, где посвящен ему престол.