Через какое-то время умер Игорь, но Смоленск не получили ни дети Игоря, ни Ростислав. Ростислав, ожидавший, что его переведут с Волыни в Смоленск, оскорбился и… отправился в Тьмутаракань собирать войска.
Между тем раздоры поселились и между тремя старшими братьями. Святослав столкнулся мало что с Ростиславом Владимировичем, которого пришлось устранять трудно и с неприятностями, но и с полоцким князем Всеславом. «Сей правнук Рогнедин ненавидел детей Ярославовых и считал себя законным наследником престола Великокняжеского: ибо дед его, Изяслав, был старшим сыном Св. Владимира. Современный Летописец называет Всеслава злым и кровожадным, суеверно приписывая сию жестокость какой-то волшебной повязке, носимой сим Князем для закрытия природной на голове язвины. Всеслав, без успеха осаждав Псков, неожидаемо завоевал Новгород; пленил многих жителей; не пощадил и святыни церквей, ограбив Софийскую. Оскорбленные такою наглостию, Ярославичи соединили силы свои и, несмотря на жестокую зиму, осадили Минск в Княжестве Полоцком; взяли его, умертвили граждан, а жен и детей отдали в плен воинам.
Всеслав сошелся с неприятелями на берегах Немана, покрытых глубоким снегом. Множество Россиян с обеих сторон легло на месте. Великий Князь победил; но, еще страшась племянника, вступил с ним в мирные переговоры и звал его к себе. Всеслав, поверив клятве Ярославичей, что они не сделают ему никакого зла, переехал Днепр на лодке близ Смоленска. Великий Князь встретил его, ввел в шатер свой и отдал в руки воинам: несчастного взяли вместе с двумя сыновьями, отвезли в Киев и заключили в темницу».
Если перевести эти слова Карамзина на современный язык, исключая елей Ярославичам, то действовали те как клятвопреступники. Всеслава отделили от семьи и посадили в киевскую темницу. Чтобы родственник никуда не сбежал, тюрьма находилась прямо в великокняжеском доме. Но Ярославичи недолго радовались успеху: только они расправились с Всеславом, как налетели половцы. Князья потерпели жестокое поражение.
«Великий Князь и Всеволод ушли в Киев, а Святослав в Чернигов. Воины первого, стыдясь своего бегства, требовали Веча; собрались на торговой площади, в Киевском Подоле, и прислали сказать Изяславу, чтобы он дал им оружие и коней для вторичной битвы с Половцами. Великий Князь, оскорбленный сим своевольством, не хотел исполнить их желания. Сделался мятеж, и недовольные, обвиняя во всем главного Воеводу Изяславова, именем Коснячка, окружили дом его. Воевода скрылся.
Мятежники разделились на две толпы: одни пошли отворить городскую темницу, другие на двор Княжеский. Изяслав, сидя с дружиною в сенях, смотрел в окно, слушал укоризны народа и думал усмирить бунт словами. Бояре говорили ему, что надобно послать стражу к заточенному Всеславу; наконец, видя остервенение черни, советовали Великому Князю тайно умертвить его.
Но Изяслав не мог ни на что решиться, и бунтовщики действительно освободили Полоцкого Князя: тогда оба Ярославича в ужасе бежали из столицы, а народ объявил Всеслава Государем своим и разграбил Дом Княжеский, похитив великое множество золота, серебра, куниц и белок».
Негодование народа было так велико, что Изяслав бежал в Польшу. Но и Всеслав не смог удержаться у власти. Он тайно бежал назад, в Полоцк.