Kirjeessä, jonka Speranski karkotuksensa jälkeen kirjoitti keisarille Permistä ja johon vielä palaamme, on seuraava himmeä kohta, josta käy selville, että Speranskin itsensä mielestä keisari tiesi hänet, Speranskin, viattomaksi. "Ainoastaan Teidän, Kaikkeinarmollisin Keisari, ainoastaan Teidän oikeamielisyytenne tulee poistaa se (syytös). Minä uskallan nimenomaan sanoa, että Te, Teidän Majesteettinne, ikuisen totuuden nimessä, Jumalan edessä olette velvollinen niin tekemään. Tässä suhteessa Teillä ei voi olla vähintäkään epäilystä minuun; minut sitoo ei omani, vaan teidän salaisuutenne; siis on Teidän selitettävä kaikki. Raha-asiat, rasitukset, uudet laitokset, kaikki julkiset asiat, joissa minun on ollut onni täyttää Teidän tahtonne, kaikki ne aika näyttää oikeiksi; mutta millä näytän minä syyttömyyteni täällä, kun kaikki on salaista ja on salassa pidettävä".
Yleinen mielipide yhdisti alusta alkaen Speranskin kukistuksen ja Ranskan välin rikkoutumisen. Ulkomaan sanomalehdissä kerrottiin, että oli keksitty salaliitto, johon Speranski, Magnitski ja muutamia ranskalaisia oli sekaantunut. Tarkoituksena oli keisarin murhaaminen, joka kuitenkin itse oli päässyt salaliiton perille ja rankaissut rikolliset. Samallaisia huhuja liikkui Venäjällä. Kaikkialla valtakunnassa, missä vähänkin seurattiin yleisiä asioita, oltiin tietävinänsä, että entinen valtakunnansihteeri oli jumalaton kavaltaja, joka syystä oli syösty asemaltaan. Tuollaista uskottiin sitä kernaammin kuin häntä kauan oli pidetty tirannina, jonka onnettomuuden täytyi olla Venäjän kansan onni. Paroni Korff mainitsee tämän Speranskin järjestelmällisen panettelun näytteenä kirjoituksen nimeltä: "Mémoire écrit à l’occasion de la disgrâce de M. de Speransky en 1812",[22] jonka tekijäksi K.M. Armfelt on mainittu. Paroni Korff arvelee syystä, että tekijä ei ole Armfelt, vaan paroni Rosenkampf.
Kun Speranskin kohtalo siten oli tunnettu ja puheen alaisena sekä ulkomaalla että Venäjällä, oltiin Venäjän virallisissa piireissä aivan äänettömiä siitä, mitä oli tapahtunut. Ei mikään julkinen asiakirja kertonut, että häneltä oli hänen arvonsa riistetty ja että hän oli karkotettu valtakunnan etäiseen seutuun. Toisia henkilöitä valittiin hänen sijallensa, ilman että sanaakaan mainittiin hänen erostaan tai sen syistä.
Venäjän korkeimpain virkamiesten luettelosta vuodelta 1813 poistettiin Speranskin nimi, toimenpide, jonka kautta hänen eronsa julkisesta elämästä kaikessa hiljaisuudessa vahvistettiin.
Poliisimies Shipulinski, joka oli saanut toimekseen viedä Speranskin Nishni-Nowgorodiin, kiiruhti kulkua niin, että hän jo maalisk. 23 p. (huhtik. 4 p.) k:lo 8 aamulla saapui määräpaikkaan, missä hän jätti karkoitetun seuralaisensa kuvernöörin valvonnan alaiseksi. Kolme päivää myöhemmin saapui kuvernöörille poliisiministeri Balashowilta kirjallinen käsky, joka ilmoitti, että keisari oli valinnut Nishni-Nowgorodin salaneuvos Speranskin olinpaikaksi ja että kuvernöörin sen johdosta tuli tarkasti pitää vaaria, että Speranskin kirjevaihto lähetettäisiin Pietariin keisarin tietoon saatettavaksi; ilmoittaa henkilöt, joitten kanssa hän oli läheisessä yhteydessä, hänen tuttavansa ja yksityisen seurustelupiirinsä; antaa tietoja kaikesta, mikä häneen nähden voi ansaita huomiota; mutta muutoin osottaa hänelle kaikkea sitä kunnioitusta, joka oli hänen säädylleen tuleva. Speranski ei siis ollut ainoastaan karkotettu; häntä pidettiin rikoksentekijänäkin ja hänen täytyä mitä huolellisimmin välttää kaikkea, jota hänen vihollisensa saattoivat selittää hänen vahingoksensa.
Speranskille ei tosin heti ilmoitettu siitä salaisesta urkkimisesta, jonka alaisena hän oli, mutta hän aavisti kuitenkin, mihin toimenpiteihin häntä vastaan oli ryhdytty ja sovitti menettelytapansa sen mukaan. Ulkonaisesti hän pysyi aivan levollisena ja puhui kirjeissäänkin maltillisesti muuttuneesta asemastaan, jolloin toivo karkotuksen pikaisesta peruuttamisesta tuon tuostakin pisti esille. Uskotulleen Masalskille, joka kauan oli hoitanut hänen yksityisiä asioitaan, antoi hän määräyksiä siitä, mitä oli vaarinotettava taloudellisiin asioihin nähden, jotka hänen äkki arvaamatta oli täytynyt jättää järjestämättä. Kirjeessä anopilleen, rouva Stivenille, kuvaa hän oloaan niin kauniilla väreillä kuin mahdollista. "Olen jo", niin hän kirjoittaa, "saanut asiani täyteen järjestykseen. — Minä arvaan, että Te (anoppi ja tytär Elisabet) tulette minun luokseni vasta toukokuun alussa ja siis vielä vietätte pääsiäisviikon Pietarissa. Minä kiellän hyvää ja kilttiä Liisaani synkistämästä tätä juhlaa vähimmälläkään surulla ja pyydän hänen viettämään sitä niin iloisesti kuin mahdollista ystäväinsä keralla. Ainoastaan tietämättömyys teidän kohtalostanne voi saattaa minut levottomaksi". Samoin pyysi hän sukulaistensa Tsherkutinossa pysymään aivan levollisina hänen oleskelustaan Nishni-Nowgorodissa, mistä hän luultavasti pian palaisi.
Hänen olikin ilo Nishni-Nowgorodissa pikemmin kuin hän oli odottanut saada vastaan ottaa tyttärensä ja rouva Stivenin, jotka keisarin käskystä matkustivat hänen luokseen muutama päivä sen jälkeen kuin hän itse oli viety pois. Heillä ei ollut kestettävänä ainoastaan matkan vaivaloisuudet, mutta he saivat kärsiä myöskin kansan osottamasta katkeruudesta, joka tuskin oli saanut tiedon Speranskin perheen saapumisesta, kun jo alettiin hänen nimeänsä mitä katkerimmin häväistä. Hämmästyksekseen tapasi Elisabet Speranski isänsä, jonka hän oli luullut alakuloiseksi, iloisena ja reippaana, aivan kuin jos karkotus olisi ollut vaan vapaaehtoinen matka.
Kun pienen perheen jäsenet siten jälleen olivat yhtyneet, järjesti Speranski kotinsa ja elämänsä sopivimmalla tavalla. Hän jakoi aikansa, joka nyt oli vapaampi kuin koskaan, lukemisen, laajain retkien, varsinkin ratsain, ja tyttärensä kasvatuksen kesken, jolle hän viimeisinä, ankaran työn alaisina aikoinaan ei ollut voinut osottaa tarpeellista huomiota. Hän oli siinä määrin mieltynyt Nishni-Nowgorodiin, että hän aikoi ostaa itselleen talon kaupungista. Mutta hänen nauttimaansa rauhaa ei kestänyt kauan. Loppupuolella kesää alkoi Nishni-Nowgorodiin tulvata henkilöitä ja perheitä, jotka pakenivat Venäjän sydämmeen tunkevaa vihollista. Nämä pakolaiset toivat mukanaan kaiken sen panettelun ja ne halventavat huhut, joita siihen aikaan oli Venäjällä Speranskista liikkeessä, minkä johdosta kaupungin asukkaat, jotka siihen saakka olivat häntä kohdelleet ystävyydellä, alkoivat häntä väistää tai osottaa hänelle suoraa epäkohteliaisuutta. Kaikki olivat enemmän tai vähemmän vakuutettuja, että hän oli kavaltaja keisaria ja isänmaata vastaan. Yhä ankarammaksi käyvä poliisitarkastus, jonka alaisena hän oli, vaivasi häntä myöskin, ja hänelle oli mieluisaa, kun hänen ystävänsä keksivät keinoja yksityisten henkilöitten kautta olla hänen kanssaan viranomaisille tuntemattomassa kirjevaihdossa, joka ei ollenkaan koskenut valtiollisia seikkoja, mutta jossa saattoi tuttavallisemmin ja avomielisemmin vaihtaa ajatuksia kuin hallituksen tarkastuksen alaisissa kirjeissä. Nämä samat seikat, jotka katkeroittivat hänen oloansa Nishni-Nowgorodissa, sittemmin odottamattomasti pahensivat hänen kohtaloansa.
Mies, jolla tänä levottomana aikana oli huomattava asema Venäjällä, oli Moskovan kuvernööri, Rostoptshin, Ranskan hurjimpia vihamiehiä, ja pian tämän jälkeen tunnettu Moskovan palon kautta syyskuussa 1812. Hän oli kiinnittänyt huomionsa Speranskiinkin tämän karkoitusseudulla ja oli huomaavinaan, että hän vastusti mielissä vallitsevaa isänmaallista liikutusta. Hän ilmoitti Nishni-Nowgorodin viranomaisille Moskovassa liikkuvasta huhusta, että henkilöillä, jotka menisivät Nowgorodin markkinoille, oli aikomus murhata Speranski. Mutta myöhemmin, elokuussa 1812, kääntyi hän suorastaan keisarin puoleen ja syytti kirjeessä hänelle Speranskia alamaisten rehellisen innon heikontamisesta yleisön pelottamisella. "Täytyy", lisäsi hän, "niin pian kuin mahdollista saada asia autetuksi ja estää Teitä vastaan kudottujen turmiollisten aikeitten toteuttamista". Tämän ilmiannon, joka perustui ainoastaan tyhjiin huhuihin, olisi pitänyt olla sitä vähäpätöisemmän merkitykseltään, kuin Speranskin oli mahdotonta olla vaarallinen siinä asemassa, missä hän oli. Mutta silloisen kiihtyneen mielentilan vallitessa oltiin Pietarissa taipuvaisia kiinnittämään huomiota kaikkiin tuollaisiin tiedon-antoihin, ja onnettomuudeksi saapui jotenkin samaan aikaan Novgorodista Speranskille epäedullinen poliisiraportti, joka oli omiansa vaikutusta vahvistamaan. Speranski oli, niin kertoi Nishni-Nowgorodin varakuvernööri kirjeessä 1812, päivällisten jälkeen kaupungin piispan luona keskustellessaan toisten henkilöitten kanssa lausunut, että Napoleon sodissaan Saksassa oli säästänyt papistoa ja sittemmin voittajana sitä suojellut. Oltiin sitä mieltä, että nämä Speranskin sanat sisälsivät valtakunnalle vaarallisen lausunnon Napoleonin eduksi. Siitä huolimatta, että edellisissä poliisiministeristöön saapuneissa raporteissa ei ollut mitään, minkä saattoi selittää Speranskin vahingoksi, riitti tämä uuden ankaran toimenpiteen aiheeksi häntä vastaan.
Syyskuun 15 (27) p. 1812 läksi Pietarista keisarillinen sananviejä, mukanansa seudun ylimmälle sotilaspäällikölle, kreivi Tolstoille, keisarin omakätinen kirjoitus, joka muun muassa sisälsi seuraavat sanat: "Tähän oheen liitän raportin Nishni-Nowgorodin varakuvernööriltä (yllämainittu raportti elok. 22 p. (syysk. 3. p.)) salaneuvos Speranskista. Jos se on tosi, niin on tämä vaarallinen mies vartioituna lähetettävä Permiin, määräyksellä minun puolestani kuvernöörille, että hänen on tarkasti pidettävä häntä silmällä ja vastattava kaikista hänen teoistaan ja hänen käytöksestään".