О своей службе в Пензе он говорит, что тогда он еще любил службу страстно, «в восхищении юного человека, который на все смотрит с желанием – образовать свет и сделать лучшим; я писал не приказным слогом, и не авторским, а вдохновенным самой природою, т. е. так, как я думал и чувствовал».
Возвращаясь к характеристике князя И. М. Долгорукова, мы видим, что в Пензе он прослужил до самой кончины Екатерины II. Довольный своей судьбою, здесь он написал «Камин в Пензе». Это произведение имело большой успех, было переведено на французский язык, и даже Делиль просил прислать ему в Париж этот перевод. В Пензе князь испытал много неприятностей. Так, его даже «в клоб с подпиской не пускали».
Живя в этом городе, князь любил по вечерам поиграть в карты без чинов, со всяким даже разночинцем, по этому случаю он говорит:
«Везде выказывать свой чин., по-моему, есть самое низкое свойство; я любил в своем месте быть настоящим председателем, а дома или в гостях – человеком лет в тридцать, резвым и веселым. Что за польза государю и отечеству в принужденной измене наших нравов, когда они в настоящем виде не ведут к развращению нравов».
На этот случай князь написал комедию в стихах: «Дурылом, или Выбор в старшины». Главное лицо в ней был владимирский оригинал Дуров, кроме его еще три лица списаны с натуры; прочие характеры вымышлены. При восшествии на престол императора Павла он был отставлен от дел, но вскоре опять получил место в Москве; здесь он продолжал службу до восшествия на престол императора Александра I.
В 1802 году князь получил место владимирского губернатора; здесь Долгоруков выстроил здание для сохранения ботика и остатков дома Петра I и богадельню для матросов-инвалидов, и открыл в 1805 году Владимирскую губернскую гимназию.
После этого он был избран в почетные члены Московского университета; он надел университетский мундир с чувством благородной гордости.
«Этот кафтан, – пишет он в своих записках, – который я поистине могу назвать благоприобретенным, будет во всю жизнь мою лучшим моим нарядом. Ни клевета, ни зависть его с меня не снимут!»
Про эксцентричный характер Долгорукова много рассказывал М. Дмитриев – последний говорит, что он дурачился до безумия. Бывало, придет к нему и скачет по стульям, по столам, так и уйдешь от него, не добившись слова благоразумного. Любил хорошо есть и кормить; как скоро заведутся деньги, то задавал обеды и банкеты. Долгоруков, как добавляет Дмитриев, весьма странно одевался и ходил по улицам в одежде полуполковой и полуактерской, из платья игранных им ролей.
В 1812 году он получил отставку от службы – этот тяжелый год был во всех отношениях черным годом для Долгорукова; он выехал из Москвы 31 августа, за два дня до вступления неприятеля; родовой дом уцелел от пожара – спас его лакей Лаврентий, «препьяный человек», как его характеризует князь. Он остался в доме самовольно.