С. А. скучает одна в Ясной, как это видно из ее писем, но радуется на детей и поглощена заботами о них.
В это время в 1866 году осенью была уже открыта Московско-Курская жел. дорога, и сношения с Москвой стали легче и потому чаще.
В марте 1867 года в ночь с 14-го на 15-ое в Ясной Поляне произошел пожар, уничтоживший старинную оранжерею, находившуюся в саду Л. Н-ча. Вот как записывает об этом в своем дневнике Софья Андреевна:
"...Вчера ночью, часов в 10, загорелись наши оранжереи и сгорели все дотла. Я уже спала, Лева разбудил меня, в окно я увидала яркое пламя. Левочка вытащил детей садовника и их имущество; я бегала на деревню за мужиками. Ничего не помогло, все эти растения, заведенные еще дедом и которые росли и радовали три поколения, - все сгорело".
Первые годы семейной жизни Толстых, при всем их благополучии и взаимном счастье, были омрачены нравственными страданиями двух близких им людей - гр. Сергея Николаевича Толстого, старшего брата Л. Н-ча, и Татьяны Андреевны Берс, младшей сестры гр. С. А. Толстой. И он, и она, тесно привязанные к новой семье Л. Н-ча, не замедлили сблизиться в их доме, и между ними зародилось сильное чувство любви. Трагизм этого чувства заключался, с одной стороны, в том, что между ними было более 20 лет разницы. Для 17-летней девушки это было первое сильное чувство, а для почти 40-летнего Серг. Ник., уже сильно и страстно пожившего, это было последнее увлечение его пылкой натуры. С другой стороны, трагизм был в том, что Т. А. отдавалась своему чувству вполне свободно, а Сергей Никол, уже был давно женат, хотя и не венчан, имел детей и был привязан к своей семье. Но эта так называемая "незаконная связь" не признавалась светским крутом его знакомых, а родным Татьяны Андреевны казалось весьма естественно порвать с этой "незаконной связью" и заключить новый, прочный и законный союз.
Но Сергей Ник. Толстой, человек с рыцарски-благородной душой, глубоко страдал от этого положения, долго колебался, и нравственное чувство заставило его остаться верным своей первой и потому самой законной семье.
Но увлечение его было сильно, и потому страдания от разрывания его существа на две части были очень велики. Новое чувство охватило его с необычайной силой. Когда гр. Толстая сообщила ему из письма своей сестры, что она его любит, он воскликнул: "Она нищему подарила миллион!"
Разумеется, и со стороны девушки были страдания от той нерешительности и колебаний, которые она замечала в предмете своей любви.
Года два тянулось это нерешительное и напряженное состояние. Но Серг. Ник. удержал за собою нравственную позицию, а Татьяна Андреевна, поддерживаемая всевозможной лаской и самой нежной любовью С. А. и Л. Н-ча Толстых, сумела стойко пережить и залечить эту первую рану и затем избрать себе, уже с более серьезным чувством, достойного спутника на всю жизнь.
Серг. Ник. Толстой для устройства гражданских прав своих детей решил повенчаться со своей женой, и, по странной игре судьбы, обе четы встретились летом 1867 года на перекрестке близ Тулы, когда они ехали в подгородные села назначать священникам дни их венчаний.