Граф Орлов жил в Москве после смерти своего брата Григория; говорят, Орлов не мог выносить князя Потемкина. Спустя несколько лет, летом 1791 года, граф приехал в Петербург для присутствования в Петергофе на празднествах в день восшествия на престол. На празднестве граф был угрюм и недоволен; после праздников граф уехал обратно в Москву и, пока жива была Екатерина II, никогда уже не приезжал в Петербург.
По смерти государыни Алексей Орлов обязан был посетить Петербург при совершенно иных обстоятельствах, чем прежде. Император Павел вступил на престол и тотчас же вызвал графа Алексея Орлова в Петербург.
Легко себе представить, с каким тяжелым чувством он уехал из Москвы и прибыл в Петербург, чтобы явиться перед очи императора. Аудиенция происходила при закрытых дверях; слышен был только горячий разговор. Граф вышел из кабинета императора сильно прихрамывая; Орлов в то время страдал подагрой.
Спустя несколько дней, при погребении императора Петра III его видели еще больше хромавшим. При торжественном принятии праха Петра III из Александро-Невского монастыря и перенесении из монастыря в императорский Зимний дворец и из дворца в крепость, граф должен был идти перед гробом и нести императорскую корону. Не нужно быть очень чувствительным, как говорит очевидец этого случая Гельбиг, чтоб содрогнуться, живо представив себе настроение, в котором должен был находиться Орлов.
«Один из первых чинов при императорском дворе, уже в глубокой старости и в болезненном состоянии, он должен был сделать пешком трудный переход более чем в три четверти часа и на всем этом пути был предметом любопытства, язвительных улыбок и утонченной мести!»
После погребения императорской четы Петра III и Екатерины II Орлов должен был немедленно уехать, что он охотно и исполнил. При коронации в Москве, когда новый император прибыл в столицу, Орлов с трудом получил разрешение ехать за границу и отправился в Дрезден.
Граф хотел навсегда поселиться в Саксонии и здесь торговал себе поместье, но саксонское правительство, не желая ссориться с тогдашним Русским двором, крайне чувствительным к малейшим оскорблениям, постаралось отклонить его от намерения купить имение.
По смерти императора Павла граф возвратился в Москву, где и умер в 1808 году; Орлов скончался в самый Рождественский сочельник, и день отпевания тела его был днем сетования целой столицы. Графа отпевали в церкви Положения Риз Господних, близ Донского монастыря. При выносе гроба сотни тысяч людей, с открытыми головами и со слезами на глазах, творили молитву, a крепостные люди плакали навзрыд.
Так любили москвичи графа за его приветливость и благотворительность. В день похорон графа восьмидесятилетний сержант, чесменский герой тоже, – Изотов, тридцать лет служивший в доме графа Орлова и спасший ему однажды жизнь, был в числе провожавших тело, помогал опустить гроб в могилу и тут же мгновенно умер. Дома графа сохранились в целости от неприятельского разорения в 1812 году; в старом доме, где всегда живал покойный, устроена была городская больница; другой, новый дом, сделался царским дворцом; его любимые имения, село Остров и село Хреновое, поступили в состав государственных имуществ.
По смерти графа был уничтожен один его бег под Донским, и две китовые кости тогда же поступили в Московский университет (последние тоже уцелели от пожара 1812 года и сохраняются посейчас).