Начальство не любило Ермолова за независимый, гордый характер, за резкость, с которою он высказывал свои мнения: чем выше было поставлено лицо, с которым приходилось иметь дело Ермолову, тем сношения его с ним были резче, а колкости ядовитее.
Известен ответ его Аракчееву на замечание последнего, что лошади его роты дурны:
«К сожалению, ваше сиятельство, участь наша часто зависит от скотов».
Когда Ермолов был еще полковником, то один из генералов сказал: «Хоть бы его скорее произвели в генералы, авось он тогда будет обходительнее и вежливее с нами».
Однажды во время кампании 1812 года Барклай-де-Толли приказал образовать легкий отряд. Ермолов назначил Шевича начальником отряда, в состав которого вошли казаки, бывшие под начальством генерала Краснова. Шевич оказался моложе Краснова. Платов, как атаман, вступился за своего подчиненного и просил Ермолова разъяснить ему: давно ли старшего отдают под команду младшего, и притом в чужие войска?
— О старшинстве Краснова я знаю не более вашего, — отвечал Ермолов, — потому что из вашей канцелярии еще не доставлен список этого генерала, недавно к нам переведенного из черноморского войска. Я, вместе с тем, должен заключить из слов ваших, что вы почитаете себя лишь союзниками русского государя, но никак не подданными его.
Казаки обиделись таким ответом, и правитель дел атамана продолжал возражать Ермолову.
— Оставь Ермолова в покое, — отвечал Платов, — ты его не знаешь: он в состоянии с нами сделать то, что приведет наших казаков в сокрушение, а меня в размышление.
Но, будучи резок и даже дерзок с высшими, Ермолов был обходителен и вежлив с низшими. Он умел ценить заслуги и до конца дней своих оставался лучшим ходатаем и защитником своих подчиненных. «Ты не худо делаешь, что иногда пишешь ко мне, ибо я о заслугах других всегда кричать умею», — писал он Денису Давыдову, и имел право говорить таким образом. Будучи еще подполковником и командуя ротою, Ермолов поминутно просил то за фельдфебеля, то за рядового, постоянно предлагал разные меры к улучшению их положения и, сознаваясь сам, что надоедает своими просьбами, все-таки слал письмо за письмом с просьбою то о том, то о другом из своих подчиненных.
Наскучив неблагодарною службою, на которой все усердие его и все подвиги его никогда по заслугам не оценивались, Ермолов в ноябре 1815 года вышел отставку и, сдав в Познани свой корпус генерал-лейтенанту Паскевичу, отправился в Россию и поселился в Орловской губернии, в имении старика отца, считая свою службу оконченною. Но назначение его главнокомандующим на Кавказ, которым он был очень доволен, призвало его к новой деятельности, которая еще более прославила его имя, если только его можно было прославить более славно, чем оно было прославлено в нашем войске и в нашем народе, знающем и величающем Алексея Петровича Ермолова едва ли не более всех отечественных полководцев.