Zamek trocki był sceną morderstwa. W niedzielę kwietną z rana trzysta fur siana należącego wielkiemu księciu z dóbr magnackich wjechało da zamku. Po dwóch ludzi zbrojnych ukryto w każdéj furze; człowiek wóz prowadzący miał broń pod odzieżą: tak więc wprowadzono do zamku 900 żołnierzy. Aleksander Czartoryjski z niejakimś Skobejką weszli na pokoje. Zygmunt słuchał mszy w zamkowéj kaplicy. Wywołano go, udając drapanie ulubionéj przezeń niedźwiedzicy. Czartoryjski rzucił się na niego; Zygmunt chciał się cofać; ale Skobejko ująwszy widły żelazne uderzył go tak silnie, że książę padł na miejscu. Wierny giermek Sławko chciał bronić pana; lecz zginął wyrzucony oknem z wysokiéj baszty.

A w kaplicy odbywała się msza, dzwoniono na podniesienie92.

Żołnierze spiskowych zajęli zamek i rozpędzili załogę. Nikt im nie stawił oporu: chrześcijanie byli w kościołach; Karaimi na hasło trwogi zbiegli się do zamku, lecz znaleźli bramy zamknięte. Ciało Zygmunta utopiono w przerębli lodu w jeziorze. A kiedy jedni ze spiskowych dokonywali swój zamiar w Trokach, drudzy działali w Wilnie, — i w tejże chwili obie stolice litewskie zostały zajęte na rzecz Świdrygiełły.

Pełne okrucieństwa i awantur rządy tego nowego władcy nie zostawiły jednak w Trokach swojego śladu. Rzecz jasna, że przechodząc z rąk do rąk tyranów miasto nie mogło się zapomagać w bogactwa, a wciąż palone pochodnią wojny ani się rozbudować. Dopiero Kazimierz Jagiellończyk będący jeszcze wielkim księciem litewskim, stale polubił, ozdabiał i swoim pobytem zbogacał Troki. Nawet po wstąpieniu na tron polski, połowę czasu siedząc na Litwie, najczęściéj przemieszkiwał w Trokach. Tu przyjmował Kontaryniego posła weneckiego, który wracając z Persji zajechał do króla. Kontaryni w relacji swojéj tak opisuje świetne przyjęcie jakie go spotkało93:

„Jego Królewska Mość dowiedziawszy się o mojém przybyciu, wysłał ku mnie dwóch swoich dworzan, dla powinszowania mi szczęśliwego powrotu i zaproszenia na dzień następny na obiad. Nazajutrz 15 lutego (1477) przysłał mi Król Imć suknię adamaszkową koloru szkarłatnego podszytą sobolami i żądał, abym na dwór przyjechał w jego saniach zaprzężonych sześcią pięknemi rumakami, w towarzystwie czterech baronów, którzy stali zewnątrz przy saniach, i wielu innych znakomitych osób. Tak przybyliśmy do pałacu JKMości. Tam Król zaprowadził mię do swéj komnaty, zasiadł na wspaniałém siedzeniu, a przy nim dwaj królewicze w szatach karmazynowych, młodzi i piękni jak gdyby dwaj aniołkowie (byli to Aleksander i Zygmunt synowie Kazimiérza). W téj komnacie było także wielu baronów, dworzan i innych panów. W pośrodku i naprzeciw Króla Imci postawiono ławkę dla mnie. Król Imć obchodził się ze mną z niewypowiedzianą łaskawością; chciał, abym uściskał rękę królewiczów; słowem, przyjął mię tak, że syna własnego nie mógłby przyjąć lepiéj. Zabierając głos chciałem uklęknąć; lecz Król Imć nie dopuścił mi tego, i nie pozwolił mi mówić, aż gdym usiadł. Usiadłszy więc, opowiadałem z pilnością wszelkie przygody podróży mojéj; opisywałem kraje, którem przebywał, i obyczaje ich mieszkańców, mówiłem o potędze Uzum-Kassana, i o tém, com u niego sprawił; czego wszystkiego Król Imć chciwie słuchał. Dotknąłem także o zwyczajach i o sile narodu tatarskiego. W ciągu mojéj mowy, która około pół godziny trwała, Król Imć z taką uwagą mię słuchał, że nikt przez cały ten czas nie śmiał ust otworzyć. Po czém złożyłem dzięki JKMci w imieniu Rzeczypospolitéj, za cześć i dobrodziejstwa, któremi mię obdarzył. Odpowiedział mi przez swego tłumacza, iż się wielce raduje z powrotu mojego, tém bardziej, iż nie miał nadziei, abym kiedy z tak dalekiej podróży miał wrócić; że miło mu było słuchać, com mówił o Uzum-Kassanie i o Tatarach; że w mojém opowiadaniu znalazł potwierdzenie skądinąd powziętych wiadomości. Na koniec kazał mi wejść do innéj sali, gdzie były nakryte stoły i gdzie zastałem znakomite towarzystwo. Wkrótce tam i Król Imć przyszedł z królewiczami, poprzedzony od wielu trębaczów. Kiedy zasiadł do stołu, po prawéj ręce jego usiedli królewicze, po lewéj pierwszy biskup państwa, po biskupie ja, w pewnéj odległości baronowie, a znaczna liczba osób, może około 40, przy innych stołach. Potrawy były przynoszone na wielkich tacach, a zawsze przodem szli trębacze. Siedzieliśmy u stołu około dwóch godzin. W ciągu obiadu Król Imć zadawał mi jedne po drugich pytania o mojéj podróży, na które odpowiadałem. Po obiedzie, wstawszy od stołu, stojąc prosiłem Króla Imci o odprawę, i pytałem, czy mi jakie rozkazy dać raczy? Kazał odpowiedzieć mi, abym upewnił senat naszéj prześwietnéj Rzeczypospolitéj, jako najmocniéj pragnie pozostać z nią w przyjaźni i w ciągłych związkach; chciał też, aby i królewicze toż samo mi poruczyli”.

Za następnych Jagiellonów Troki przestały być mieszkaniem książęcém, a poczęły służyć za rodzaj politycznego więzienia dla osób znakomitszych. Tutaj za króla Aleksandra miał sobie wyznaczone mieszkanie szach Achmet chan kapczackiéj hordy, który, utraciwszy swe państwo, szukał w Polsce pomocy. Tu w chwilach nieporozumienia między królem polskim a jego teściem Iwanem Wasilewiczem III wielkim kniaziem Moskiewskim, w r. 1503 uwięzieni zostali posłowie moskiewscy: bojaryn i okolniczy Piotr Pleszczejew, dworecki Konstantyn Zabołockoj, okolniczy Jaropkin oraz diak Nikita Mokłokow94. Tu Zygmunt I kazał uwięzić w 1508 dwóch Gasztołdów podskarbiego i koniuszego, których podejrzéwał o sprzyjanie zdradom Glińskiego. Tu Mikołaj Radziwiłł i Hrehory Ostyk, po śmierci Aleksandra, podejrzewając o zamiar ucieczki wdowę po nim Helenę, zesłali ją na honorowe wygnanie.

O stanie Trok za Jagiellonów mamy świadectwo u Herbersteina, który będąc posłem od cesarza Maksymiliana do Moskwy, wracał na Litwę w 1517. Cytujemy tu jego słowa95:

„Przybywszy do Wilna, oczekiwałem po wyjeździe króla (Zygmunta I) do Polski, przez niejakiś czas na sługi moje, co mi konie z Nowogrodu przez Inflanty odprowadzali. Za ich więc powrotem udałem się w drogę, zboczywszy z niéj o cztery mile do Trok. Tam widziałem w pewnym ogrodzie zamkniętych i utrzymywanych żubrów, których inni turami, Niemcy zaś auerochs zowią. Wojewoda (trocki) chociaż mojém nagłém i niespodzianém przybyciem zdawał się być nieco obrażonym, zaprosił mię jednak na obiad, na którym był także Szachmet król zawołżańskich Tatarów (Scheachmet, rex Savolensis Tartarus). Ten w mieście Trokach, w dwóch murowanych zamkach między jeziorami położonych, uczciwie był chowany, jakby pod wolną strażą. Król przy stole o różnych rzeczach przez tłumacza ze mną rozmawiał; cesarza zawsze bratem swym nazywał, wszystkich monarchów i królów uważając między sobą za braci”.

I już odtąd przestały Troki być miastem pierwszorzędném: bo pozbawione ważności położenia jeograficznego, usunięte od dróg łączących inne miasta, którym z kolei Opatrzność dała odegrywać historyczne role — już tylko mają do zanotowania kilka administracyjnych lub sądowniczych rozporządzeń królewskich, jako to: ustawę dwóch jarmarków przez Zygmunta I w 1516; uwolnienie mieszczan od dawania podwód pod gońców królewskich w 1552 przez Zygmunta Augusta; opiekę króla Stefana nad tutejszymi kupcami; potwierdzenia przez różnych królów przywilejów nadanych Karaimom itp.

W r. 1655 najście Rosjan ostatecznie zubożyło miasto. Runął zamek, a miejscowy mieszkaniec nie umié nawet opowiedzieć ani historii tych ruder, ani historii bytu swych przodków.