У него был сын Иван Петрович, который в одно время с отцом был лишен занимаемой им должности (председателя суда) и также сослан в Соловецкий монастырь, где умер незадолго до отца.
Только 26 мая 1760 года, уже при императрице Елизавете Петровне, потомству Петра Андреевича было возвращено графское достоинство в лице внука его Андрея Ивановича, прадеда Льва Николаевича.
«Про Андрея Ивановича, женившегося очень молодым на княжне Щетининой, я слыхал от тетушки такой рассказ. Жена его по какому-то случаю без мужа должна была ехать на какой-то бал. Отъехав от дома, вероятно, в возке, из которого вынуто было сиденье, для того, чтобы крышка возка не повредила высокой прически, молодая графиня, вероятно, лет семнадцати, вспомнила дорогой, что она, уезжая, не простилась с мужем и вернулась домой.
Когда она вошла в дом, она застала его в слезах. Он плакал о том, что жена перед отъездом не зашла к нему проститься».
О деде и бабушке своей со стороны отца Лев Николаевич так рассказывает в своих воспоминаниях:
«Бабушка, Пелагея Николаевна, была дочь скопившего себе большое состояние слепого князя Николая Ивановича Горчакова. Сколько я могу составить себе понятие о ее характере, она была недалекая, малообразованная, – она, как все тогда, знала по-французски лучше, чем по-русски (и этим ограничивалось ее образование), и очень избалованная – сначала отцом, потом мужем, а потом, при мне уже, сыном – женщина. Кроме того, как дочь старшего в роде она пользовалась большим уважением всех Горчаковых: бывшего военного министра Алексея Ивановича, Андрея Ивановича и сыновей вольнодумца Димитрия Петровича: Петра, Сергея и Михаила Севастопольского.
«Дед мой, Илья Андреевич, ее муж, был тоже, как я его понимал, человек ограниченный, очень мягкий, веселый и не только щедрый, но бестолково-мотоватый, а главное – доверчивый. В имении его, Белевского уезда, Полянах, – не Ясной Поляне, но Полянах, – шло долго не перестающее пиршество, театры, балы, обеды, катания, которые, в особенности при склонности деда играть по большой в ломбер и вист, не умея играть и при готовности давать всем, кто просил, взаймы и без отдачи, а главное, затеваемыми аферами, откупами, кончились тем, что большое имение его жены все было так запутано в долгах, что жить было нечем, и дед должен был выхлопотать и взять, что ему было легко при его связях, место губернатора в Казани.
Дед, как мне рассказывали, не брал взяток, кроме как с откупщика, что было тогда общепринятым обычаем, и сердился, когда их предлагали ему. Но бабушка, как мне рассказывали, тайно от мужа брала приношения.
В Казани бабушка выдала меньшую дочь, Пелагею, за Юшкова. Старшая же, Александра, еще в Петербурге была выдана за графа Остен-Сакен.
После смерти мужа в Казани и женитьбы отца моя бабушка поселилась с моим отцом в Ясной Поляне, и тут я застал ее уже старухой и хорошо помню ее.