В ноябре Л. Н-ч ездил в Москву и работал там в Румянцевском музее, разбирая масонские рукописи.
С. А. скучает одна в Ясной, как это видно из ее писем, но радуется на детей и поглощена заботами о них.
В это время в 1866 году осенью была уже открыта Московско-Курская жел. дорога, и сношения с Москвой стали легче и потому чаще.
В марте 1867 года в ночь с 14-го на 15-ое в Ясной Поляне произошел пожар, уничтоживший старинную оранжерею, находившуюся в саду Л. Н-ча. Вот как записывает об этом в своем дневнике Софья Андреевна:
«…Вчера ночью, часов в 10, загорелись наши оранжереи и сгорели все дотла. Я уже спала, Лева разбудил меня, в окно я увидала яркое пламя. Левочка вытащил детей садовника и их имущество; я бегала на деревню за мужиками. Ничего не помогло, все эти растения, заведенные еще дедом и которые росли и радовали три поколения, – все сгорело».
Первые годы семейной жизни Толстых, при всем их благополучии и взаимном счастье, были омрачены нравственными страданиями двух близких им людей – гр. Сергея Николаевича Толстого, старшего брата Л. Н-ча, и Татьяны Андреевны Берс, младшей сестры гр. С. А. Толстой. И он, и она, тесно привязанные к новой семье Л. Н-ча, не замедлили сблизиться в их доме, и между ними зародилось сильное чувство любви. Трагизм этого чувства заключался, с одной стороны, в том, что между ними было более 20 лет разницы. Для 17-летней девушки это было первое сильное чувство, а для почти 40-летнего Серг. Ник., уже сильно и страстно пожившего, это было последнее увлечение его пылкой натуры. С другой стороны, трагизм был в том, что Т. А. отдавалась своему чувству вполне свободно, а Сергей Никол, уже был давно женат, хотя и не венчан, имел детей и был привязан к своей семье. Но эта так называемая «незаконная связь» не признавалась светским крутом его знакомых, а родным Татьяны Андреевны казалось весьма естественно порвать с этой «незаконной связью» и заключить новый, прочный и законный союз.
Но Сергей Ник. Толстой, человек с рыцарски-благородной душой, глубоко страдал от этого положения, долго колебался, и нравственное чувство заставило его остаться верным своей первой и потому самой законной семье.
Но увлечение его было сильно, и потому страдания от разрывания его существа на две части были очень велики. Новое чувство охватило его с необычайной силой. Когда гр. Толстая сообщила ему из письма своей сестры, что она его любит, он воскликнул: «Она нищему подарила миллион!»
Разумеется, и со стороны девушки были страдания от той нерешительности и колебаний, которые она замечала в предмете своей любви.
Года два тянулось это нерешительное и напряженное состояние. Но Серг. Ник. удержал за собою нравственную позицию, а Татьяна Андреевна, поддерживаемая всевозможной лаской и самой нежной любовью С. А. и Л. Н-ча Толстых, сумела стойко пережить и залечить эту первую рану и затем избрать себе, уже с более серьезным чувством, достойного спутника на всю жизнь.