Орлов страшно рассвирепел от злости; он тотчас оставил турок и начатые с ними переговоры и без отдыха день и ночь скакал на перекладных к Петербургу, торопясь спасти то, что еще можно было спасти. Но его дело теперь было окончательно проиграно. На дороге ему попался посланный Екатериною курьер, который и объявил Орлову, что императрица приказывает ему отправиться в ссылку в Гатчинский дворец.
Орлов кипел от злости и ужаленного честолюбия. Как мог он расстаться с ролью первого властителя в государстве! Исполненный самого жгучего желания во что бы то ни стало отомстить, он день и ночь приискивал случай, как бы уничтожить те преграды, которые отделяли его от Екатерины.
Могучая императрица дрожала пред ним в «рабском страхе», как выражается Гельбиг, и когда граф Панин старался успокоить ее, она с боязнью ответила: «вы не знаете его, он способен извести меня и наследника».
И действительно, не на шутку боялась Екатерина Орлова; она велела приделать к дверям своей спальни крепкие запоры, а её камердинер Сахаров должен был с заряженными пистолетами караулить у её дверей.
Страх перед Орловым был столь велик, что ему было очень любезно предложено отказаться добровольно лишь от его сутенерской роли, всё же прочее должно было остаться по-старому. При этом требовании Екатерина прислала Орлову I миллион рублей, которые, «она была ему должна», как говорилось в грамоте. Он взял деньги, но не перестал настаивать на всех своих правах и угрожал Екатерине по-прежнему. И в один прекрасный вечер в 1772 г., Орлов, действительно, предстал перед не знавшей куда деться от страха Екатериной. К её счастью дело обошлось менее опасно, как предполагалось: Орлов просил царицу позволить ему остаться лишь её другом и помирился с ней.
Тут то мир узрел пример благородной и чистой дружбы: Екатерина подарила своего экс-любовника тысячами крепостных, назначила ему ежегодную пенсию в сто пятьдесят тысяч рублей, заказала во Франции роскошнейший серебряный сервиз стоимостью в 1 / 4 миллиона рублей и построила в Петербурге ему чудный мраморный дворец. Орлов, со своей стороны, купил у армянских купцов за полмиллиона рублей известный большой бриллиант, который поныне носит имя Орлова и составляет гордость России.
Смотря на эти сцены нежности, русский народ плакал, но только не слезами умиления, а слезами голода и горькой нужды.
Таким образом, после многих усилий, с внешней стороны последовало примирение, но в душе Орлова всё еще не переставала кипеть ярая злоба. Не находя себе нигде покоя, Орлов бросался из одного места в другое, то жил он за границею, то в Ревеле, то в Москве, затем опять в Петербурге. Как братоубийца Каин, скитался он из одного города в другой! И всегда он возвращался к месту своих преступлений и пороков, к грешному Петрополю, ко двору Екатерины.
К этому времени Екатерина уже удалила от себя слишком вежливого и благородного Васильчикова, и «почетный пост» в её будуаре принадлежал бессовестному искателю приключений Потемкину, который прежде всего отличался тем, что умел оберегать Екатерину от Орлова.
Орлову теперь было предложено жениться на прелестной придворной даме Екатерины, причем последняя подарила своей «наследнице», между прочим, необыкновенно ценную и изящную гарнитуру из золота и бриллиантов.