Строгость, суровость к себе и другим: вот качества, прежде всего бросавшиеся в глаза в преосвященном Амвросии.
Сам он был образцом воздержания. В Пензе он не ел ничего кроме хлеба, воды, редьки и огурцов, великим же постом он питался одною или двумя просфорами на целую неделю.
Нестяжательность его не знала границ. Раздав все свои деньги, он отдавал затем самые нужные вещи, даже полотенца. Безусловно точный в соблюдении церковного устава, того же требовал он и от других, и в этом не знал никаких уступок.
Настойчивость его и железная сила воли были непреклонны. Его характер выражался и в его наружности. Высокий, худощавый, с большими темными глазами, светившимися умом и энергиею, с голосом громким, звучным, который возвышался до громового, — когда епископ был под влиянием сильного волнения, тогда собеседники невольно вздрагивали. Большею частью епископ был угрюм и молчалив и говорил редко. Он не хотел ничем поступиться от того убеждения, что он все остается монахом. Глубокая пропасть лежала между ним и высшим обществом Пензы; отношения сразу установились натянутые и все более и более обострялись.
В высшей степени епископ был требователен к тому, чтобы в храме стояли как следует. Не терпел он ни разговоров в церкви, ни перехода с места на место. Такие люди сейчас же подвергались при всем храме строгому выговору.
Так, однажды одна из выдающихся по положению в городе женщин стала говорить в церкви. Амвросий начал ей резко выговаривать, а когда она хотела от стыда уйти, он закричал за ней: "Куда бежишь? от гнева Божия не уйдешь".
При непреклонной правдивости и прямоте Амвросия, его отношения с губернатором стали в высшей степени натянутыми, тем более, что тот позволял себе притеснения по отношению к духовному ведомству, а Амвросий горячо отстаивал интересы церкви и духовенства.
Так как губернатор был человек не безупречный, то Амвросий, не стесняясь, в своих проповедях, даже в присутствии губернатора, обличал его действия, так что губернатор избегал ездить в собор.
Не будучи в состоянии бороться с Амвросием открыто, он начал подпольную борьбу, путем доносов и разных подвохов. Но прямодушный архиерей не последовал этому низкому примеру и действовал открыто, так что в городе, несмотря на суровость архиерея, ему сочувствовали в этой борьбе.
На духовенство Амвросий излил всю свою суровость, желая крутыми мерами поднять его на должную высоту, и получил от него прозвание Грозного.