Иван Иванович уважал образование, держал дома хорошее собрание книг — от Палласова путешествия по России до дон Кихота, которого любил вечерами читать в кругу семьи, но в споры с женою по вопросам о воспитании детей не вступал. Некогда было ему за многими делами заботиться об этом. Иван Михеич приучил детей к честности, и никаких побочных доходов Иван Иванович от служебных занятий не имел, был белой вороной в кругу интендантских чиновников. А большая семья требовала значительных средств. Поэтому приходилось, кроме казенной службы, заниматься еще ведением частных дел. Знавшие честность и деловитость Ивана Ивановича Пирогова богатые генералы, сталкивавшиеся с ним по службе в военном ведомстве, охотно поручали ему управление своими московскими домами, что давало семье возможность жить с изрядным достатком.
Детей у Пироговых было много. Старший сын, Петр, родился около 1795 года. Какое образование он получил, неизвестно. Служил в каком-то казенном учреждении, сильно играл в карты и вынужден был оставить службу в связи с крупным проигрышем и растратой казенных денег. Покрытие этой растраты сильно отразилось на имущественном положении отца, а все вообще поведение сына Петра было источником многих огорчений для Ивана Ивановича. Даже семейной жизнью своей Петр был несчастлив: женился на какой-то невзрачной особе, маялся и бедствовал. Умер он в 1849 году от холеры.
Были у Николая Ивановича еще братья: Александр, родившийся около 1797 года и умерший после 1815 года; Аммос, родившийся около 1806 года, умерший семнадцати лет. Этот учился уже вместе с братом Николаем в знаменитом московском пансионе Кряжева. Другие братья умерли детьми.
Иван Иванович Пирогов имел несколько дочерей. Как относилась Елизавета Ивановна к вопросу об их образовании, сказано выше. Две из этих дочерей долго жили с матерью у брата Николая Ивановича: Пелагея Ивановна, родившаяся около 1798 года и жившая еще в 40-х годах, и Анна Ивановна, родившаяся в 1799 году и умершая в семидесятилетнем возрасте. Сама Елизавета Ивановна умерла в доме сына, в Петербурге, 16 марта 1850 года.
Весь строй семейной жизни Пироговых был патриархальный, вся обстановка была консервативная. Детям прививалась религиозность в духе церковного благочестия. В положенные дни их водили в церковь, отец и мать подолгу читали молитвы, не пропускали заутрень, всенощных и обеден в праздничные дни. В особо торжественных случаях устраивались паломничества к Троице-Сергию. Посты соблюдались ревностно, а мяса в великий пост не получала даже кошка — любимица детей.
Жилось в доме Пироговых легко и привольно. Отец был примерный семьянин, мать любила детей горячо и дети платили ей тем же, и между собою жили дружно.
Детские годы оставили в душе Николая Ивановича светлые воспоминания. Прошли они под руководством няни, Екатерины Михайловны, о которой Пирогов вспоминал так же хорошо и сердечно, как Пушкин об Арине Родионовне, и благодетельное влияние которой признавал всегда.
Кроме няни, была еще в доме крепостная служанка, Прасковья Кирилловна, большая мастерица рассказывать сказки. Ей считал себя Пирогов обязанным любовью к народной словесности и возникшей отсюда любовью к литературе вообще. До глубокой старости помнил он сказки этой женщины, которая грамоты не знала, но память имела отличную. От Прасковьи Кирилловны запомнил мальчик разные стихи.
В раннем детстве занимали Пирогова потешные рассказы и прибаутки друга его отца, подлекаря Григория Михайловича Березкина. Он задавал мальчику загадки по-латыни, приучал его к обращению с этим языком.
Другим знакомым семьи Пироговых, имевшим значение для развития Николая Ивановича в детские годы, был знаменитый оспопрививатель и акушер Андрей Михайлович Клаус. До Москвы, куда он переехал в 1791 году, Клаус служил городским акушером в Уфе, и о нем сохранил теплое воспоминание Сергей Тимофеевич Аксаков. Пирогова занимал Клаус, кроме своей оригинальной наружности, маленьким микроскопом, всегда находившимся при нем в кармане. «Раскрывался черный ящичек, — вспоминал Пирогов в старости, — вынимался крошечный блестящий инструмент, брался цветной лепесток с какого-нибудь комнатного растения, отделялся иглою, клался в стеклышко, — все это делалось так тихо, чинно, аккуратно, как будто совершалось какое-то священнодействие. Я не сводил глаз с Андрея Михайловича и ждал с замиранием сердца, когда он пригласит заглянуть в его микроскоп».