Старым университетским строением, купленным Екатериною в 1785 году у князя Барятинского, он был недоволен и хотел перевести университет в Екатерининский или Головинский дворец, в Лефортове. Отдача дворца под университет не состоялась.
В 1809 году Александр I посетил Москву и подробно осмотрел университет. Посещение императором университета и выгодное впечатление, произведенное на государя Разумовским, обратило на него высочайшее внимание. Гордый, угрюмый, желчный и раздражительный у себя в кабинете, Разумовский при случае умел блеснуть в обществе. Его несомненные познания, утонченная светскость показались императору достаточными для того, чтобы сделать его достойным преемником старого Завадовского. Вигель говорит:
«Может быть, Линней и был бы хорошим министром просвещения, но между ученым и только что любителем науки – великая разница».
Воспитанный за границей и начиненный французской литературой, он считал себя русским Монморанси. Он никакой памяти по себе не оставил в Министерстве. Заслугой на министерском поприще Разумовского было основание Царскосельского лицея, на экзамене которого впервые раздались публично стихи Пушкина. Существует известие, что после этого экзамена у Разумовского был торжественный обед, на который был приглашен и отец поэта. Обращаясь к отцу Пушкина, Разумовский сказал ему:
– Я бы желал, однако ж, образовать сына вашего в прозе.
– Оставьте его поэтом! – пророчески и с необыкновенным жаром возразил Державин 77.
При Разумовском надзор за типографиями, книгопродавцами, журналами, книгами и газетами был крайне строг, и ему между тогдашних невинных литературных произведений стали представляться мысли, никогда не приходившие на ум писателям. Строгости эти дошли до того, что он вместе с министром полиции, Вязмитиновым, нашел неприличными суждения журналов о театрах и актерах, так как первые – Императорские, а вторые находятся на царской службе, и, безусловно, запретил критические статьи об игре актеров и рецензии о самих пьесах…
В 1816 году Разумовский вышел в отставку и переехал в Москву.
Н. И. Греч в своих записках говорит:
«Разумовского подсидел директор Лицея Е. А. Энгельгардт. Он будто невзначай попался навстречу Александру I в Царском Селе и на вопрос государя, что делает, отвечал, что огорчен выговором министра. Государь полюбопытствовал узнать, за что, Энгельгардт отвечал: “В декабре прошлого года представлял я министру о необходимости сделать торги на постройку летних панталон воспитанникам и не получил никакого ответа. В январе повторил представление – и тут ответа не было. В марте третье представление – и новый отказ. Вот наступил май, и я сшил панталоны без торгов. В октябре, наконец, получил я разрешение на торги, но тогда донес, что панталоны уже сшиты и изношены. Министр сделал мне строжайший выговор за ослушание пред начальством и за неисполнение приказаний”. Через неделю Разумовский был отставлен».