Когда в последнюю ночь перед казнью отец Петр спросил его на исповеди, прощает ли он врагам своим:
— Всем прощаю, кроме двух подлецов — государя и Рылеева, — ответил Каховский.
— Сын мой, перед святым причастием, перед смертью… — ужаснулся отец Петр. — Богом тебя заклинаю: смирись, прости…
— Не прощу.
— Так что же мне с тобою делать? Если не простишь, я тебя и причастить не могу.
— Ну, и не надо.
Отец Петр должен был взять грех на душу, причастить нераскаянного.
А когда пришел Подушкин с Трофимовым вести его на казнь, Каховский взглянул на них так, «как будто ад имел в большом презреньи».
— Пошел на смерть, будто вышел в другую комнату закурить трубку, — удивлялся Подушкин.
— Павел Иванович Пестель есть отличнейший в сонме заговорщиков, — говаривал отец Петр. — Математик глубокий; и в правоту свою верит, как в математическую истину. Везде и всегда равен себе. Ничто не колеблет твердости его. Кажется, один способен вынести на раменах своих тяжесть двух Альпийских гор.