Воспитанием детей бабушка занималась сама и воспитала их на славу, особенно сына, которого любила без памяти. Говорят, что людские характеры передаются через поколение. Отец рос умным и серьезным мальчиком и ученье ему давалось легко. Без всяких гувернеров и учителей, которых бабушка имела полную возможность нанять, но не хотела, она выучила его русскому, французскому и немецкому языкам и подготовила его так хорошо, что вступительный экзамен он выдержал первым и так и шел все четыре года, окончив с «занесением на мраморную доску». Когда отцу исполнилось 13 лет, бабушка Надежда Ивановна, с болью в сердце, отправила его в Петербург под крылышко к своему младшему брату, Якову Ивановичу Ростовцеву, впоследствии графу и одному из главных сотрудников Александра II по освобождению крестьян. Поместили отца в «Школу Гвардейских Подпрапорщиков и Кавалерийских юнкеров», которую когда-то по кавалерийскому отделению кончил Лермонтов и куда, в том же 1852 году, был принят Модест Мусоргский, будущий композитор. Так как отец был также на пехотном отделении, нужно думать, что они хорошо друг друга знали.
В 1856 году, 17-ти летним мальчиком отец кончил школу и вышел прапорщиком в Измайловский полк. В том же году, в составе гвардии, он выступал с полком на охрану Балтийского побережья. Севастополь тогда еще держался, а в Петербурге опасались высадки английского флота, который под командой адмирала Симура крейсировал неподалеку от Кронштадта. Как известно это была демонстрация, которая ничем не кончилась. В полку отец прослужил всего семь лет. Он мог бы продолжать служить и делать карьеру, как делали многие из его сверстников, но подошло освобождение крестьян и из Петербурга все лучшее, все те, кто безкорыстно хотели служить «младшему брату», потянулись в деревню. В 1863 году отец вышел в отставку, бабушка тогда уже умерла, вернулся к себе в Соболево и с воодушевлением занялся крестьянскими делами. В нашей губернии он был одним из первых «мировых посредников», т. е. людей, на которых было возложено настоящее освобождение крестьян, — отделение их от помещиков и наделение их землею. Тогда, как говорил Некрасов, «порвалась цепь великая, порвалась и ударила одним концом по барину, другим по мужику». В нашей стороне процесс прошел сравнительно безболезненно. Земля у нас недорогая и ее было много. Хватило на всех.
Когда через несколько лет ввели «мировых судей», отец был единогласно выбран на эту должность. А затем пришло «Земство» и ему отец посвятил всю свою жизнь.
У отца и матери было шесть человек детей, из которых я был самый младший, и между следующим братом и мной было девять лет разницы. По зимам мы жили в Ярославле, где отец служил по земству и где у нас был свой дом на Соборной площади. Старшие братья учились в гимназии, а на лето, все кроме отца, переезжали в деревню, где жили с мая и до сентября.
В деревне дом был трехэтажный. Первый, полуподвальный, где помещалась кухня и жила прислуга, был каменный, а второй и третий деревянные. С широкого каменного крыльца люди поднимались наверх и входили в переднюю, которая носила громкое название «лакейской», хотя в мои времена никаких «лакеев» там уже не было. Но там стояли «лари», на которых, если бы таковые существовали, они могли бы спать. Из «лакейской» дверь вела в кабинет отца. Там стоял большой кожаный диван, на котором отец спал, огромный письменный стол, в котором ящики запирались со звонким щелком, и во всю стену книжный шкаф, где под стеклом покоились Дарвин, Бокль, «Жизнь животных» Брема, полное собрание сочинений Белинского, 11 томов, Герцена и целые полки «Современника» и «Отечественных записок». На шкафу валялось и пылилось всякое оружие: морской палаш, кавалерийские сабли и несколько шпаг, в кожаных потрескавшихся ножнах, эпохи Екатерины и Александра I, былое вооружение наших воинственных предков.
Другая дверь из «лакейской» шла в зал, или «залу» (женского рода). В зале ни хрустальных люстр в чехлах, ни зыбких паркетных полов не имелось. Это была уже принадлежность дворянских гнезд рангом много выше нашего. Зато мебель, как полагалось, была целого красного дерева, очень жесткая, порядочно неудобная и чрезвычайно прочная. В простенках, в таких же рамах красного дерева, висели зеркала, имевшие свойство то вытягивать отраженные фигуры, то их расширять почти до неузнаваемости, а под зеркалами стояли «подзеркальники» и на них стеклянные подсвечники в медной оправе. На столе перед диваном стояла бронзовая лампа, в которую до нашей керосиновой эпохи наливалось масло. По стенам висели «портреты предков», кисти неизвестных и не весьма искусных мастеров. Висел там флота лейтенант Карп Федорович, в голубом кафтане, портрет, который брат повесил на стену, вытащив его из амбара, где он покоился много лет и где его почему-то пощадили мыши. Против него висел дед, в пехотной форме, с медалью 12-го года. Немного поодаль помещался юноша в форме гвардейской школы, мой отец. Почетное место над диваном занимал бритый господин в синем фраке, в парике и кружевной манишке, а рядом с ним полногрудая дама в роброне. Эти люди должны были изображать прадеда Ивана Ростовцева и его жену, рожденную Вадбольскую.
По бокам от изразцовой печки стояло два с застекленным верхом шкафа, т. наз. «горки». В горках под стеклом красовались вещи Николаевского фарфора, чашки, фигурки и пасхальные яйца, а на верхних полках много десятков из тонкого стекла разносортных бокалов на длинной ножке и очень узких. В них во время парадных обедов наливалось шампанское, то самое, про которое писал Пушкин, что: «между жарким и бланманже цимлянское несут уже». В простенке около окна, рядом с дверью в «диванную» висел старый длинный английский барометр, с винтом в нижней крышке. В бурю, в грозу и в проливной дождь, сколько бы вы ни крутили винт и ни стучали пальцем но стеклу, он всегда и неукоснительно показывал «bright» (брайт), по нашему «ясно».
Рядом с оптимистическим барометром висела рамка, а в ней под, стеклом, с «печатями вислыми» грамата царей Ивана и Петра, при правительнице Софье, где Федору Гаврилову сыну Ростовцеву в Ярославском воеводстве жаловались пустоши и угодья. В другой стороне залы, около лестницы в третий этаж, стоял ореховый рояль с длинным хвостом, фабрики Вирдта, который на моей памяти никогда не настраивался и тем не менее сохранял немножко сиплый, но очень приятный звук. Этот почтенный инструмент за год до освобождения крестьян, отец послал для развлечения своим старшим сестрам, двум перезрелым девицам, которые главную часть своего времени проводили вышивая на пяльцах. Из их не слишком талантливых, но усидчивых работ помню две картины, которые висели в других комнатах. Одна изображала Ромео и Жульетту, сцену у балкона, а другая, огромная, Петра Великого, спасающего из воды солдата. Вокруг лодки бушевали пенистые волны с белыми гребнями, Петр стоял во весь рост, волосы у него развевались по ветру, а на боку висела вышитая серебряным бисером сабля. Самое замечательное было то, что обе руки у Петра были заняты. Одна держала руль, а другая была протянута вперед. От утопающего виднелись только пальцы. Надо думать, что если бы на деле все происходило так, как было изображено на картине, бедняга наверное бы утонул.
Больше всего в зале мне нравилась нижняя часть оконных переплетов. Туда были вставлены разноцветные стекла, красные, синие, жёлтые и зеленые. По моему тогда малому росту, на мир Божий мне приходилось смотреть исключительно через эти стекла и через них и сад и беседка и качающиеся березы приобретали характер волшебный и фантастический. Вообще в раннем детстве наш дом мне казался громадным, а такие необыкновенные места, как чулан под лестницей, чердак и нежилые комнаты рядом с кухней были полны таинственных и страшных возможностей. Со временем вступил в силу обратный процесс. Уже в школьном возрасте, приезжая каждую весну на каникулы в Соболево, я всякий раз удивлялся, что дом и комнаты стали такими маленькими.
Из «диванной» стеклянная дверь вела на балкон, с белыми колоннами, а с балкона, около которого росли кусты сирени и мальвы, лестница спускалась в так наз. «маленький сад». Там были дорожки, которые постоянно зарастали травой, клумбы цветов, георгины, астры и настурции, а в куртинах были посажены резеда, левкой и белые цветы табака, которые по вечерам после поливки пахли сладко и опьянительно. Цветы были исключительной областью Катерины Федоровны, русской швейцарки, подруги матери по институту, которая, оказавшись временно без пристанища, приехала к нам погостить на месяц и прожила в нашем доме тридцать лет, воспитавши всех детей, от старшей сестры и до меня включительно.