Kun tämä keisarillinen käsky kreivi Tolstoin toimesta ilmoitettiin Speranskille, menetti hän mielenmalttinsa, jonka hän muutoin tavallisesti osasi säilyttää. Hänen mielensä joutui silminnähtävästi kuohuksiin, hän tarttui päähänsä ja lausui, minuutin ajan ääneti oltuaan: No, sitä odotin. Siirtyminen Permiin oli keisarin epäsuosion uusi ja ankara osotus, sillä Perm oli valtakunnan etäisimpiä paikkoja, vielä melkein raakalaisseudulla Sipirian rajalla. Elämä Permissä oli oleva elämää täydellisessä erillään olossa sivistyneestä maailmasta, pimeydessä ja unhotuksessa. Ei ihme siis, että hän oli ääneti ja alakuloinen matkalla uuteen, koillisessa sijaitsevaan karkoituspaikkaan, johon matkaan vielä samana päivänä ryhdyttiin, sotilasvartio mukana. Anoppinsa ja tyttärensä pyysi hän seuraamaan itseänsä niin pian kuin se olisi heille mahdollista.
Nyt oli Speranskin alennus syvimmillään. Seuraavassa huomaamme, kuinka hänen pitkällisten ponnistusten jälkeen onnistui jälleen saavuttaa kansalaiskunnia ja arvokas asema, jolloin kuitenkin vastoinkäyminen jossakin määrin oli muuttanut hänen luonnettaan, niin jäntevä kuin se olikin.
IV.
Ensi aika Speranskin kauan kestävää oleskelua Permissä oli katkerin hänen vaiherikkaassa elämässään. Eräs Popow niminen kauppias ja muutamat harvat muut henkilöt osottivat hänelle ystävyyttä, mutta muutoin otettiin hän kaupungissa vastaan kylmyydellä, joka lisäsi hänen muutoinkin rasittavaa alakuloisuuttaan. Hän kävi korkeammissa yhteiskunta-asemissa olevain henkilöitten luona, mutta tuskin kukaan otti häntä vastaan; ei ainakaan ainoakaan vastannut hänen käyntiinsä. Hän päätti jonkalaisella yksipäisyydellä murtaa itselleen tien ja uudisti tervehdyksillä käyntinsä, mutta samalla tuloksella. Hänen rahavaransa olivat hänen Permiin tullessaan loppuneet, ja kun yhteys ystäväin kanssa Länsi-Venäjällä sodan vuoksi oli käynyt vaikeammaksi, ei hän heidän kauttaan voinut saada sitä mitä tarvitsi. Hänen täytyi hankkia rahoja omaisuuttaan panttaamalla ja lainaamalla palvelijoiltaan, jotka nyt olivat herraansa rikkaammat. Hänen tyttärensä Elisabet kuvaa seuraavin sanoin tätä aikaa isänsä elämässä: Hänellä ei enää ollut Nishni-Nowgorodin lämmintä aurinkoa, ei sen hyvinvointia eikä ystävällisyyttä; hänellä ei, kaukana pääkaupungista, ollut rakasta toivoa, että karkoitusta vaan kestäisi jonkun ajan ja että se pian voisi lakata. Hänellä ei ollut niin hartaita ystäviä kuin Pietarissa tai niin yleväsydämmisiä kuin Nishni-Nowgorodissa, jotka, päinvastoin Pietaria ja sen juonia, eivät pelänneet osottaa kunnioitusta kukistuneelle suuruudelle. Perm sitä vastoin oli pelkkä karkoituspaikka. Siellä oli talvi ja talven hyinen kylmyys ja kuollut luonto. Se oli etäinen, unhotettu maaseutupaikka, ilman varakasta aatelia, siis myöskin ilman sitä vieraanvaraisuutta, jota löytyy maaseudulla — —. Sinnekin saapui paljon henkilöitä, jotka pitivät häntä vaan isänmaankavaltajana ja virittivät sitä vihamielisyyttä häntä vastaan, joka vallitsi kaupungissa.
Lukeminen oli tähän aikaan hänen ainoa lohdutuksensa, mutta kirjain puute esti häntä säännöllisesti harjoittamasta tieteellisiä tutkimuksia. Uskonnollisia asioita hän enimmin ajatteli, ja sillä alalla hän muodosti itselleen omituisen katsantokannan, joka kallistui mystilliseen uskoon hengen välittömästä yhteydestä yliaistillisten voimain kanssa, ja joka aina oli tuntunut viehättävältä hänen runolliselle mielelleen. Näitten hänen tutkimustensa hedelmä oli keskiaikaisen mystikon Tuomas Kempiläisen kuuluisan "Kristuksen seuraamisesta" nimisen teoksen käännös, jonka hän oli alkanut jo toimeliaimpana virkamiesaikanaan ja nyt päätti. Käännös, joka hänen mielestään oli teoksen kaikkia muita käännöksiä etevämpi tarkkuuteen ja luotettavaisuuteen nähden, painettiin vasta 1819.
Kun Speranski siten oleskeli nöyryyttävässä asemassa etäisellä maaseudulla, tapahtui sodassa Ranskaa vastaan Venäjälle edullinen käänne. Vuoden kuluessa karkoitettiin Ranskan armeijat Venäjältä, ja keisari Aleksanteri ryhtyi Saksassa voittamaan uusia laakereita taistelun jatkuessa. Tämä valtiollisen aseman muutos vaikutti karkoitetun valtiomiehen kohtaloon ja tuotti siihen jonkun verran huojennusta. Ensimmäinen valonsäde oli, että Speranski lopulla vuotta 1812 keisarin armosta sai 6,000 ruplan vuotuisen määrärahan. Samaan aikaan saapui Pietarista viittauksia siitä, että Speranskia oli kohdeltava hänen säätynsä ja ansioittensa mukaan, ja nyt alettiin häntä äkkiä kohdella aivan toisin. Hän, jota ennen halveksittiin maankavaltajana, otettiin ystävällisesti kaikkiin seurapiireihin, muutos, joka oli hänelle tervetullut sekä hänen itsensä että hänen anoppinsa ja tyttärensä vuoksi, jotka molemmat jo lokakuussa olivat saapuneet Permiin.
Speranski oli nyt, iältään vasta alun viidennelläkymmenellä, siinä elämän vaiheessa, jolloin useimmille toimeliain aika alkaa. Hän oli kokenut enemmän kuin muut. Loistavan menestyksen jälkeen oli hänen uransa yhtäkkiä keskeytynyt, ja hänen ennen ylpeä mielensä oli masentunut. Mutta sillä iällä ei mies, kaikkein vähimmin niin lahjakas kuin Speranski, luovu vastaisen vaikutuksen ajatuksesta. Ja tuskin oli nyt taivaanranta vähänkään valjennut, kuin hän jo alkoi pyrkiä saavuttamaan menetettyä asemaansa. Oloja katseli hän kuitenkin toisin kuin ennen. Kun hän ennen oli halunnut reformeerata isänmaansa ja johtaa sen uusille, onnellisemmille tulevaisuuden urille, oli nyttemmin hänen lähin silmämääränsä hyödyllisellä toiminnalla poistaa se häpeä, joka oli kohdannut hänen nimeään, esiintyä Venäjän yleisön ja koko Euroopan edessä miehenä, joka moitteettomasti oli palvellut ruhtinastaan.
Ensimmäinen askele siinä tarkotuksessa oli, että hän alussa vuotta 1813 laati Aleksanteri I:lle asetetun laajan puolustuskirjoituksen, jossa hän ylevällä yksinkertaisuudella ja totuuden voimalla kuvasi koko valtiollisen uransa, todistaen syyttömyytensä sitä panettelua vastaan, jota hänen vihollisensa olivat hänestä levittäneet.
Jos hän oli erehtynyt, ei kuitenkaan missään tapauksessa ollut puuttunut hyvää tahtoa palvella hallitsijaa ja toimeenpanna hänen toivomuksiaan. Tätä kirjoitusta, joka monessa kohden valaisee Speranskin elämänhistoriaa, seurasi kirje, jonka loppusanat kuuluivat:
Palkaksi kaikesta kokemastani katkeruudesta, palkaksi raskaasta vaivasta, mikä minulla on ollut Teidän palveluksessanne, Teidän kunnianne ja valtakunnan hyvän vuoksi, tunnustuksena koko käytökseni puhtaudesta ja moitteettomuudesta virkamiehenä ja vihdoin Teidän ja minun välisen, minulle armollisen ja mielistelevän yksityisen suhteen muistoksi, jonka yksin Jumala näki, rukoilen vaan yhtä ainoaa armon osotusta: sallia minun perheeni kanssa viettää jälellä oleva osa elämääni, joka todella on ollut täynnä hätää ja huolia, pienellä tilallani. Jos havaitaan sopivaksi uskoa tässä yksinäisyydessä minun loppuun suorittaakseni joku osa yleisistä laeista, joko sitten siviililaki, rikoslaki tai prosessi, otan Teidän Majesteetiltanne sellaisen persoonallisen tehtävän ilolla vastaan ja olen sen suorittava ilman mitään apua, huolellisesti, pyytämättä muuta korvausta kuin ainoastaan vapauden ja unhotuksen. Jumala, joka on ruhtinaitten ja heidän alamaistensa yhteinen isä ja tuomari, siunatkoon Teidän Majesteettinne siunausrikkaat toimet valtakunnan parhaaksi, lähettäköön Teille palvelijoita, jotka ovat hurskaita ilman pelkuruutta ja huolellisia ilman vallanhimoa. Nämä ovat alati miehen toivomuksia, joka virassa on ollut vähemmin onnellinen kuin moni muu, mutta jonka persoonallista rakkautta Teitä kohtaan ei kukaan ole voittanut.