Jäntevästi kävi Kaarle käsiksi tähän riihottomuuteen ja laittomuuteen, kutsui heti saavuttuaan "ratsumestarit, päämiehet, voudit, kirjurit, lainlukijat ja nimismiehet" Turkuun vastaamaan toimistaan, tutki, tuomitsi ja rankaisi ja ryhtyi muuten moniin toimiin turvatakseen rahvasta väkivallalta ja kruunua ryöstöltä.
Liivinmaalta saapui yhtä odottamaton kuin järkyttävä sanoma, että Zamoiski oli valloittanut Wolmarin ja että De la Gardie ja Gyllenhjelm oli viety vankeuteen. Nyt kuten aina hän kirjoitti ankarasti jalolle pojalleen; koskei tämä ollut paremmin puolustautunut, ansaitsi hän kohtalonsa. Kuitenkin tahtoi hän tehdä voitavansa saadakseen hänet vaihdetuksi vapaaksi.
Herttua tahtoi ryhtyä Zamoiskin kanssa rauhanneuvotteluihin, mutta siitä ei koitunut muuta kuin katkeria kirjeitä molemmin puolin. Herttua oli synkällä ja alakuloisella tuulella, eikä ollut iloinen se joulu, joka Turussa vietettiin.
Uuden vuoden 1602 ensi päivinä lähdettiin kotimatkalle ympäri Pohjanlahden. Vaikea oli matka tähän vuodenaikaan. Vasta helmikuun 19 päivänä olivat matkalaiset saapuneet Poriin. Siellä levähdettiin muutamia päiviä, ja sillaikaa antoi herttua "järjestyssäännön, jonka jälkeen Suomen voutien itsensä ojennettava on." Sitten taivallettiin Pohjanmaan halki Ruotsin puolelle.
* * * * *
Onneton oli ruotsalaisten kohtalo Puolan vankeudessa. Vasta viiden vuoden kärsimysten jälkeen saatiin Jaakko de la Gardie vaihdetuksi. Puolalaiset olivat antaneet kunniasanansa, että Kaarle Gyllenhjelm saisi vapautensa hänkin. Siinä tarkoituksessa oli hän saanut tulla mukana Marienburgiin, jossa vaihto oli tapahtuva.
Ruotsalaiset luovuttivat puolalaiset vangit, joita oli useita. Sen jälkeen luovutettiin De la Gardie puolalaisten puolelta. Odotettiin, että Gyllenhjelm tulisi jälestä, mutta vastoin lupauksia pidätettiin hänet edelleen, ja vankeus oli sen jälkeen paljon kovempi.
Hänelle taottiin raudat jalkoihin. Hänet vietiin entistään paljon viheliäisempään vankilaan, missä tuulet ja viimat puhalsivat läpi hatarain puuseinien ja jota ei tuimimmalla talvellakaan koskaan lämmitetty. Gyllenhjelmin pitkä, ruokkoamaton parta jäätyi siellä.
Kuitenkaan ei hän valittanut koskaan, vaan kesti kidutuksen tavattomalla kärsivällisyydellä. Suureksi lohdutuksekseen sai hän toki raamatun ja muutamia muita kirjoja, erittäinkin sellaisia, jotka käsittelivät katolilaisen ja luterilaisen opin eroavaisuuksia. Vakavat opinnot syvensivät hänen käsitystään elämästä, hän muuttui lempeäksi ja sävyisäksi mieleltään ja alistui nurisematta surulliseen kohtaloonsa.
Sangen usein kävi hänen luonaan munkkeja ja jesuiittoja, jotka tulivat häntä kääntämään. Mutta hän ei monien muiden vankien tavoin ollutkaan altis antautumaan munkkien pauloihin, vaan taittoi arastelematta peitsensä uskonsa puolesta. Käännyttäjät lähtivät tiehensä hämmästyneinä hänen suuresta oppineisuudestaan ja nolostuneina siitä, että olivat joutuneet väittelyssä tappiolle.