Новгородцы не поладили со своим князем (1160), и через некоторое время на вече решили сказать ему: «Не можем держать двух князей, выведи брата Давыда с Нового торга». Святослав не хотел их сердить, и, выведя Давыда, отослал его к Роману в Смоленск. Новгородцы не удовольствовались. Через малое время они опять созвали вече на самого Святослава. Князь пребывал в Городище у Святого Благовещения, как прибыл к нему вестник сказать: «Князь, в городе деется великое зло, хотят тебя взять». Святослав отвечал: «Чем же я прогневил их? Вчера еще целовали они крест мне и отцу моему, иметь меня князем себе до живота моего». Нахлынуло множество народа. Они заперли князя в истопке, княгиню отослали в монастырь, дружину перевязали, а двор разграбили. Потом отправили князя в Ладогу.
Когда известие о том дошло до Киева, великий князь Ростислав в гневе велел перехватать всех новгородцев, бывших по торговле в Киеве, и посадить их в Пересеченский погреб. Там ночью задохнулось четырнадцать человек. Ростислав, огорченный, велел на другой день выпустить их и развести по городам.
Чтобы привлечь на свою сторону Андрея, новгородцы прислали к нему просить его сына на княжение. Андрей предлагал им брата, от которого они отказывались, ибо он княжил у них прежде и почему-то не угодил им. Тогда Андрей прислал им племянника Мстислава Ростиславича, разумеется, на выгодных для себя условиях.
Вскоре, однако же, Андрей договорился о Новгороде с великим князем киевским Ростиславом, утвердившимся окончательно в Киеве, и вывел племянника, вместо которого посажен был опять Святослав Ростиславич.
Андрей за уступку выговорил себе Двинскую область.
Святослав княжил у них долго (1161–1167), не в пример других князей, вероятно, потому, что они боялись выступить против воли великого князя владимирского Андрея и великого князя киевского Ростислава, которые действовали сообща, и с которыми бороться было невозможно.
К тому же случился у них голод, нередкое их несчастье: «Все лето стояло вёдром, и пригорело жито, а на осень всю ярь убил мороз, зимою же стоял теплынь и часто шел дождь; кадка малая стоила семь кун. О, велика скорбь бяше в людях и нужда».
Наконец, новгородцы повздорили со Святославом (1166). Отец его, великий князь Ростислав, собрался к ним, чтобы уладить дело, но не мог добраться до Новгорода по причине болезни и велел сыну выехать с новгородцами на Луки. Новгородцы привезли многие дары и клялись ему не искать себе другого князя, кроме его сына, и разлучиться с ним только смертью.
Но прошло немного времени, и прежние неудовольствия возобновились еще с большей силой. Новгородцы вышли из терпения, и Святослав также. Он уехал от них на Луки и прислал сказать им: «Не хочу княжить у вас». Они собрались на вече и поклялись между собой не хотеть Святослава. Пошли прогнать его с Лук и послали к киевскому великому князю Мстиславу Изяславичу, занявшему стол после смерти Святославова отца Ростислава, просить у него сына Романа. Слава о доблестях Мстислава внушила им надежду найти в киевском великом князе заступника себе против притязаний Андрея, тем более, что сам он также был не расположен к великому князю владимирскому.
Святослав, услышав, что идут на него, отошел из Лук к Торопцу и потом на Волгу. Андрей подал ему помощь, и он сжег Новый Торг. Новоторжцы отступили к Новгороду. Братья его, Роман и Мстислав, сожгли Луки.