Блудов имел большое влияние на Жуковского; он убедил его, как уверяет М. Дмитриев в своих «Мелочах», Грееву элегию «Сельское кладбище» перевести не четырехстопными ямбами, а шестистопными.
Князь Вяземский рассказывает, что у графа Блудова была задорная собачонка, которая кидалась на каждого, кто входил в кабинет его. Когда, бывало, придешь к нему, первые минуты свидания, вместо обмена обычных приветствий, проходили в отступлении гостя на несколько шагов и в беготне хозяина по комнате, чтобы отогнать и усмирить негостеприимную собачонку.
Поэт Жуковский не любил этих эволюций и уговаривал графа держать собачку на привязи. Как-то долго не видать было его. Блудов пишет ему записочку и пеняет за продолжительное отсутствие. Жуковский отвечает, что заказанное им платье еще не готово и что без этой одежды с принадлежностями он явиться не может. При письме собственноручный рисунок: Жуковский одет рыцарем в шишаке и с забралом, весь в латах и с большим копьем в руке. Все это, чтобы защищать себя от нападений кусающегося врага.
Князь Вяземский говорит про Блудова, что он имел авторское дарование, но до сорока лет и долее не мог решиться ничего написать. Он же упоминает о нем: «Как в литературной сфере Блудов рожден не производителем, а критиком, так и в государственной он рожден для оппозиции». Слабая сторона его характера была раздражительность и вспыльчивость: в минуту гнева он никого не щадил, но, когда проходил гнев, он уже все забывал и с ласковою улыбкою спешил заговаривать с обруганным. Блудов считался остряком в свое время, и попасться к нему на язычок многие побаивались. Когда на место государственного секретаря Сперанского был назначен Шишков, человек неглупый и почтенный, но вовсе по лености неспособный ни к каким делам, движимый теплым чувством любви к отечеству, он написал несколько манифестов; лучшим из них было известие о потере Москвы. Блудов сказал, что для возбуждения красноречия должно было сгореть Москве.
Когда вышло первое иллюстрированное издание новых басен Крылова, Блудов говорил, что басни вышли «со свиньею и с виньетками». Строгий и несколько изысканный вкус Блудова не допускал появления хавроньи в поэзии.
Когда граф Хвостов в своих стихах сказал: «Суворов мне родня, и я стихи плету», Блудов заметил: «Полная биография в нескольких словах; тут в одном стихе – все, чем он гордиться может и стыдиться должен». Когда Шатобриан про друга Блудова, Александра Тургенева, написал: «Граф Тургенев, бывший министр народного просвещения в России, человек всякого рода познаний», Блудов, прочитав эти строки, сказал: «Угораздился же Шатобриан выразить в нескольких словах три неправды и три нелепости: Тургенев не граф, не бывал никогда министром просвещения и далеко не всеведущ».
В «Арзамасском ученом обществе», в этом обществе, посвященном шуткам и пародиям, Блудов носил прозвище «Кассандра», Блудова и Жуковского можно назвать основателями этого Общества; кроме них здесь были все передовые люди того времени. Поводом к основанию Общества арзамасцев послужила статья Блудова «Видение в Арзамасе, издание Общества ученых людей». Также дал мысль об «Арзамасе» Блудову еще и следующий случай.
В то время отправлялся в Арзамас воспитанник Петербургской Академии, живописец Ступин, с тем, чтобы основать там школу живописи. По поводу этого трунили над Ступиным, говоря, что он хочет грубую арзамасскую живопись возвести в искусство и образовать академию. Это и повело к шуточному названию Общества – «Арзамасская академия» и «Арзамасское ученое общество». В уставе этого Общества, написанном в шуточном тоне Блудовым и Жуковским, между прочим сказано было: «По примеру всех других обществ, каждому нововступившему члену «Арзамаса» надлежало было читать похвальную речь своему покойному предшественнику, но все члены нового «Арзамаса» бессмертны, и так, за неимением собственных готовых покойников, новоарзамасцы положили брать напрокат покойников между халдеями «Беседы» и «Академии».
Протоколы составлялись Блудовым и большею частью Жуковским; последний имел необыкновенную способность противопоставлять самые разнородные слова, рифмы и целые фразы одни другим таким образом, что речь его, по-видимому правильная и плавная, составляла совершенную бессмыслицу и самую забавную галиматью. Карамзин об арзамасцах писал из Петербурга к своей жене: «Здесь из мужчин, всех для меня любезнее – арзамасцы: вот истинная русская академия, составленная из людей умных и с талантом! Жаль, что они все в Москве, а не в Арзамасе».
В следующем письме: «Сказать правду, здесь не знаю я ничего умнее арзамасцев: с ними бы жить и умереть».