А как женился я, то, право,
Такой был бал, огонь, забава,
Каких я вечно не давал!
Князь Долгоруков был женат два раза, второй раз на вдове Пожарской, урожденной Безобразовой; обе его жены были красавицы и очень его любили, несмотря на то, что он был очень некрасив или, вернее, даже безобразен. Долгоруков это знал и чувствовал, и очень мило над собою подшучивал, говоря: «Мать-натура для меня была злою мачехой, оттого у меня и была такая скверная фигура, а на нижнюю губу материала она не пожалела и уж такую мне благодатную губу скроила, что из нее и две могли бы выйти, и те не маленькие, а очень изрядные».
Князь также очень мало обращал внимания на свой туалет и был очень неряшлив в домашнем быту и с короткими своими. Его современница Е. П. Янькова рассказывает: «Несмотря на свою неприглядность, князь заставлял забывать в разговоре, что некрасив собой; бывало, слушаешь его умные речи и замысловатые шутки, а каков он из себя – об этом и позабудешь».
Преосвященный Августин отзывался о нем, как о человеке большого ума. «Князь, – говорил он, – вельми умен, но не вельми благоразумен». А. Т. Болотов говорит о нем, что он на проказы был большой ходок и в бытность пензенским вицегубернатором в провиантских делах и подрядах так напакостил, что на все государство был разруган от Сената. Та же Янькова говорит про него, что он – человек честный и хороший, в дружбе очень преданный, он все имел, чтоб сделать себе карьеру, и при этом, как сам говаривал, «никогда не мог выбиться из давки».
Он всю жизнь свою провел под тяжелым гнетом долгов и врагов. Это потому, быть может, что он был великий мастер на всякие приятные, но ненужные дела, а как только представлялось какое-нибудь дело важное и нужное, точно у него делалось какое затмение ума: он принимался хлопотать и усердно хлопотал – и все портил, и много раз совершенно бы погиб, если бы влиятельные друзья и сильные помощники не выручали его из беды!
П. Верещагин. Новая площадь в Китай-городе
Долгоруков место вице-губернатора получил довольно отважно; он адресовал на имя императрицы письмо, в собственные руки, в котором говорил, что желал бы трудиться и быть полезным. Ответом было назначение его вице-губернатором.