Zdawało się, że łatwo teraz przyjdzie dobyć Górnego Zamku i Dolnego, który ocalał z kościołem św. Stanisława.
Górny wzniesiony na dość stromej górze, murowany, z basztami i wieżycami, osadzony był przez Polaków pod dowództwem Moskorzowskiego. Spodziewano się jednak użyciem bombard i dział, któremi go otoczono, z pomocą doskonałych łuczników angielskich hr. Derby, pokonać opór załogi, nietracącej serca, nadziei utrzymania się, choć wobec sił znacznie ją przewyższających.
Wkrótce postrzegli Niemcy i ich sprzymierzeńcy, że nie tak tu łatwo, jak w Krzywym Grodzie, zwyciężyć będzie można załogę we wszelki sprzęt, w żywność i broń opatrzoną, a kierowaną przez Moskorzowskiego. Wystrzały trafne z dział zamkowych i śmiałe wycieczki wkrótce o znaczne straty przyprawiły Krzyżaków, najmniej się już niepowodzenia takiego i śmiałości spodziewających. Z kościoła św. Marcina wywieszona chorągiew z krzyżem, Francuzom i Anglikom wyrzucała, że nadaremnie uwodzono ich nazywając pogany, tych, którzy pod znamieniem jednem z niemi walczyli, broniąc swej niepodległości.
Moskorzowski przedsiębrał kroki stanowcze: z powodu podejrzeń o podrzucenie ognia w Krzywym Grodzie zdradą, wyprawił wnet ludzi próżnych i podejrzanych precz z zamku: sam dzień i noc odpierając szturmy nieustanne, łamanie murów taranami, postrzały łuczników, nacisk oblegających, pomnażał się w chwilach niebezpieczeństwa. Zapał, przytomność, odwaga Moskorzowskiego ocaliły stolicę Jagiełły. Dziury w murach powybijane, natychmiast ziemią, gnojem, skórami bydlęcemi, wańtuchami z wełną wypchanemi, naprawiano — Polacy na wywalonych ścianach stawali żywym murem do boju, nie ustępując im kroku, ścierali się z Krzyżakami, spychali ich z góry, zrzucali na nich drzewo, kamienie, rum potłuczonych murów, zabierające z sobą na dół odważnych rycerzy.
Z murów grodu wyzywano się i przechwalano, grożono sobie wzajemnie, i przyszło do tego, że Francuzi i Polacy wyzwali się na turniej, a raczej pojedynek, oznaczając czas i miejsce, sędzią obierając boju cesarza Wacława. Na oznaczony dzień Polacy: Jan z Włoszczewa kasztelan dobrzyński, Mikołaj z Waszmuntowa, Jan ze Zdarzowa i Jarosław Czech przybyli do Pragi; ale cesarz wysławszy do mających walczyć posłów od siebie, potrafił pojednać ich i pojedynek ucztą u niego się skończył [Długosz].
Po różnych próbach, gdy ani wyłomu większego zrobić, ani zastraszyć oblężonych nie było można, a czas chłodny się zbliżał, chociaż żywności zabraknąć nie mogło, bo ją dowożono ze Żmudzi i okolicy bez przeszkody; zaczęli Krzyżacy myśleć o odstąpieniu od Wilna, lękając się, by potem dla ściętych wód, komunikacja rzekami przerwana nie została. Wojsko też znaczne straty w zabitych i rannych poniosło, prochu, zapasów wojennych i oręża braknąć zaczynało; musiano więc w październiku, już tracąc korzyść, jaką dawało zdobycie Krzywego Grodu, odciągnąć do Prus, pustosząc tylko po drodze.
Straty z obu stron były dotkliwe, lecz daleko większe ze strony litewskiej. Z Witoldowych zginął tylko Towciwiłł od kuli działowej; Krzyżacy postradali Algarda hr. Hohenstein; — Litwa i Polacy wielką ilość ludu, którego przesadnie do 14 000 obliczano, w samym pożarze Krzywego Grodu utraciła. Korygiełło zabity; jeden z Narymundowiczów książąt litewskich, ze strony Jagiełły, wyzwany na rębę przez jakiegoś Niemca rycerza, potykając się z nim w otwartem polu z siodła wysadzony, wzięty w niewolę. Tego, nie Witold zapewne, ale Niemcy, jako poganina, zawiesiwszy za nogi na drzewie, łucznikom swym rozstrzelać dali. Miasto w znacznej części zniszczone i spalone być musiało; — lubo42 o tem nic nie wspominają kronikarze, wnosić można jednak, że Witold oszczędził cerkwie, kościoły i ważniejsze gmachy. Kletki i ubogie chatki mieszkańców, oprócz lepszych domostw, zajętych przez niemiecką starszyznę, zniszczone zostały; lecz tych strata dotkliwą nie była: długo jeszcze potem budowy składające większą część Wilna, budami i szałasami raczej niż porządnemi były domostwy.
Trwało to oblężenie [Gołębiowski] od dnia 4 września do października (kilka dni po św. Michale). Tyle tu trupów długi czas niepogrzebionych leżało, pisze Długosz, że psy rozjuszone rozłakomiwszy się na ciałach ludzkich, wielkiemi gromady chodzić poczęły zdziczałe, rzucając się na żywych pieszych i jezdnych nawet odosobnionych, i chorobą lub ranami osłabionych pożerając.
Zaraz po odejściu Niemców, którzy całą korzyść wyprawy stracili, nie mogąc czy nie chcąc dobywać Górnego Zamku; król Władysław pośpieszył z posiłkami Moskorzowskiemu. Nadeszły zapasy zboża, oręża, wojennych przyborów. Żmudź także ogłodzona uciekała się do króla, przypominając, że zmuszona została do zawartego przymierza. I ją więc także zasilić było potrzeba.
Oblężenie okazało najjawniej, czem był Skirgiełło. Moskorzowski nie tyle obroną zamków, co nieznośnemi wymaganiami jego i szałem nieustannym zmęczony, usilnie domagał się pozwolenia powrotu do Polski.