Eräässä N.K. Schilderin kirjoituksessa "Speranski ja Magnitski" Russki Westnikissä syyskuussa 1890 kerrotaan, että alussa vuotta 1812 Armfelt, Balashow, sisäasiainministeri Kosodawlew, eversti Ekesparre ja Rosenkampf olivat keisarille tehneet Speranskia vastaan syytöksen, jossa Speranskia vastaan väitettiin, että hän oli kirjevaihdossa Ranskan viranomaisten kanssa, että hän oli antanut Napoleonille Venäjän salaisia suunnitelmia ja että hän suosi papinpoikia aatelin kustannuksella. Ainoa keino saada varmuutta asiasta oli, sanoivat he, poistaa hänet pääkaupungista ja sinetitä hänen paperinsa. Tämän tiedon-annon mukaan siis kuitenkin kaikitenkin ainoastaan yleisiä väitteitä esitettiin Speranskia vastaan; todellista selvitystä odotettiin hänen takavarikkoon otetuiden paperiensa tutkimisesta.
Hämäriä kohtia on siis olemassa Speranskia vastaan tähdätyissä juonissa, mutta vielä vaikeampi on saada selviksi keisari Aleksanterin menettelytavan vaikuttimia. Tässä on edessämme sielutieteellinen arvoitus, missä eivät mitkään asiakirjat, mitkään tavalliset todistuskeinot voi antaa meille ohjausta. Jos keisari, kuten hän useita kertoja Speranskin kukistumisen jälkeen lausui, oli vakuutettu siitä, että Speranskia ei millään tavoin voinut syyttää sopimattomasta menettelytavasta, minkä tähden poisti hän sitten mitä tylyimmällä tavalla luotaan miehen, joka oli tehnyt hänelle niin suuria palveluksia ja persoonallisesti ollut häntä niin lähellä? Se selitys on lähinnä, että hän noudatti yleistä mielipidettä ja valtiollisen aseman vaatimuksia. Väsyneenä Speranskia vastaan alituisesti tehdyistä syytöksistä, ei hän lopullisesti enää voinut vastustaa hänen vihollistensa vaatimuksia. Kun hän ryhtyi ratkaisevaan taisteluun Napoleonia vastaan, tarvitsi hän tuekseen kansansa kaikki voimat. Mutta niin kauan kuin hänellä oli sivullaan ranskalaismielinen valtakunnansihteeri, ei hänen oma asemansa kansaan näyttänyt selvältä eikä avoimelta, minkä vuoksi hän ei voinut luottaa kansansa täyteen alttiuteen. Speranskin täytyi kukistua, jotta saavutettaisiin ne suuret tarkoitukset, joita keisari tahtoi voittaa; hän oli uhrattava isänmaan pelastuksen tähden. Siinä käskykirjeessä, jolla Speranski nimitettiin Pensan kuvernööriksi, lausuttiin: Ennen 1812 vuoden sotaa, kun olin lähtemäisilläni armeijaan, tuli tietooni asianhaaroja, jotka olivat niin tärkeitä, että ne saivat minut virasta erottamaan salaneuvos Speranskin ja todellisen valtioneuvoksen Magnitskin, toimenpide, johon jokaisena muuna aikana olisin ryhtynyt ainoastaan tarkan tutkimisen jälkeen, mikä silloisten olosuhteitten vallitessa kävi minulle mahdottomaksi. Käskykirjeen himmeä sanamuoto viittaa yleisiin olosuhteihin, joilla oli valtava vaikutus keisariin. Samaan käsityskantaan liittyy Saint-Glin, lausuessaan: Speranski oli määrätty, kavallus tekosyynä, yleisen vihan uhriksi, jonka oli yhteisessä isänmaallisessa tunteessa liittäminen hallitsijan ympärille kaikki yhteiskuntaluokat alkavaa sotaa varten.
Speranskin kohtalon alaiseksi joutui myöskin todellinen salaneuvos Magnitski, joka, hänkin maaliskuun 17 (29) p. 1812, poliisin toimesta lähetettiin pois Pietarista. Hänellä oli aikaisemmin ollut virka Venäjän Pariisissa olevassa lähettiläsvirastossa ja siellä hän oli tutustunut Ranskan valtiomiehiin. Sittemmin oli hän ollut Speranskin työtovereita ja ottanut osaa hänen asetustensa laatimiseen. Hänkin näyttää kukistuneen yleisten syytösten johdosta, ilman että mihinkään määrättyyn tosiasiaan viitattiin. Mikä yhteys Speranskin ja Magnitskin välisuhteissa luultiin löydetyksi, ei ole tunnettu.
Oli miten hyvänsä, keisari, vaikka hän ei ollut varma Speranskin syyllisyydestä, kuitenkin luuli ratkaisevat toimenpiteet häntä vastaan tarpeellisiksi. Hän epäili vaan sopivimmasta menettelytavasta. Eräs Tarton yliopiston professori nimeltä Parrot, johon hän suuresti luotti, sai tiedon hänen huolistaan tässä asiassa ja neuvoi häntä olemaan asettamatta Speranskia syytteeseen tuomioistuimen edessä, sekä sen tähden, että hänen syyllisyytensä ei ollut varma, että sen vuoksi, kun hänen tuomarinsa silloisissa oloissa olisivat hänen vihamiehiään, minkä tähden oikeudenmukaista tutkimusta ei olisi odotettavissa. Täysin riittäisi, jos hän poistettaisiin Pietarista ja pidettäisiin sellaisen valvonnan alaisena, ettei hän mitenkään saattaisi päästä yhteyteen vihollisten kanssa. Sodan jälkeen olisi vielä aikaa oikeudenkäyntiin ryhtyä. Tämä neuvo, joka annettiin kirjeessä maaliskuun 16 (28) p:ltä, näyttää ratkaisevasti vaikuttaneen niitten toimenpiteitten laatuun, joihin jo seuraavana päivänä ryhdyttiin valtakunnansihteeriä vastaan.
Itse tapausta, jonka kautta Speranskin ura pitkäksi ajaksi keskeytyi, kuvaa paroni Korff ruhtinas Aleksanteri Galitsinin kertomuksen mukaan, joka itse oli läsnä, seuraavin sanoin: Maaliskuun 17 (29) p., joka oli sunnuntai, oli Speranski päivällisillä ystävättärensä, rouva Weikardtin luona, kun keisarin sananlennättäjä tuli ja toi hänelle käskyn saapua keisarin luo samana iltana k:lo 8. Tässä kutsumuksessa, joka oli usein sattuneitten samallaisten kaltainen, ei ollut mitään tavatonta, ja Speranski meni kotia työhönsä ja saapui palatsiin määrättynä aikana. Ruhtinas Aleksanteri Galitsin, joka myös oli tullut esitettäviä asiakirjoja mukanansa, odotti sihteerinhuoneessa, mutta valtakunnansihteeri kutsuttiin ensin sisään. Puheillaoloa kesti kolmatta tuntia. Sitten tuli Speranski keisarin kabinetista, mieli varsin kuohuksissa. Kyynelsilmin ja kävellen pöydän luo pannakseen papereitaan salkkuunsa, kääntyi hän selin Galitsiniin, luultavasti salataksensa levottomuuttaan.
Suljettuaan salkkunsa ja kun hän oli juuri lähtemäisillään pois huoneesta toiseen mennäksensä, kääntyi hän, aivan kuin jos hän äkkiä olisi malttanut mielensä, kynnyksellä ja sanoi vitkalleen ja erityisellä äänenpainolla: Hyvästi, Teidän Ylhäisyytenne! Se oli pitkän ajan hyvästijättö, sillä kymmenettä vuotta kului sen jälkeen ennen kuin Speranski sai kohdata Galitsinin tai Aleksanterin itsensä. — Heti sen jälkeen lähetti keisari sanan Galitsinille, ettei hän voinut ollenkaan päästää häntä puheillensa, vaan käski hänen tulla seuraavana päivänä, valtakunnanneuvoston istunnon jälkeen.
Paroni Korff kertoo tämän kohtauksen ruhtinas Galitsinin oman suullisen kertomuksen mukaan. Toinen omin silmin näkijä, kenraaliadjutantti kreivi Golenishtshew-Kutusow, joka samana päivänä oli päivystäjänä sihteerinhuoneessa, kertoi hänelle, että Speranski, kun hän tuli keisarin kabinetista, oli melkein tainnoksissa, yritti panna hattuaan salkkuunsa ja vihdoin vaipui tuolille, jolloin hän, Kutusow, kiiruhti tuomaan vettä. Muutama minuutti sen jälkeen avautui keisarin kabinetin ovi vitkalleen, ja kynnykselle ilmestyi Aleksanteri, silminnähtävästi mielenliikutuksessa. Hän lausui sanat: Vielä kerran, hyvästi Mikael Mihailowitsh, ja vetäytyi sitten huoneeseensa jälleen.[21]
Aivan tuntematonta on, mitä keisari oli puhunut miehen kanssa, joka useita vuosia oli ollut häntä niin lähellä. Ei keisari eikä Speranski ole koskaan lausunut siitä sanaakaan. Se oli ikävä muisto, johon ei kumpikaan tahtonut koskettaa.
Kun Speranski palasi kotia, ensin turhaan etsittyään jo poisvietyä Magnitskia, kohtasi hän poliisiministeri Balashowin ja de Saint-Glinin, jotka odottivat häntä sulkeakseen sinetillä hänen huoneensa hänen paperiensa tarkastamista varten. Postireki oli pihalla valmiina hänet poisviemään. Hän sai luvan ottaa erilleen muutamia papereita, jotka pantiin eri pakettiin ja osotettiin keisarille. Hänellä ei ollut rohkeutta herättää tytärtään ja anoppiaan sanoakseen heille jäähyväisiä. Hän siunasi ainoastaan heidän lepohuoneensa oven ja jätti kirjeen, jossa pyysi heitä molempia tulemaan hänen luokseen talven kuluttua. Kun tämäkin myöhään yöllä oli tapahtunut, jätettiin hän erään Shipulinski nimisen poliisimiehen haltuun, joka oli määrätty viemään hänet kauvan kestävään, Nishni-Nowgorodissa alkavaan karkotukseen.
Aleksanteri I ei koskaan ollut täysin suora niitten toimenpiteitten syihin nähden, joihin Speranskia vastaan oli ryhdytty, eikä hän koskaan ilmaissut kenellekään menettelynsä vaikuttimia. Mutta erityisistä tiedon-annoista ilmenee, että hän heti jälkeenpäin oli tapahtumasta syvästi liikutettu ja melkein katui tekoansa. Kun ruhtinas Galitsin maaliskuun 18 p. käskyn mukaan saapui hänen luoksensa, käveli hän synkän näköisenä huoneessaan. "Teidän Majesteettinne, Te olette sairas?" kysyi Galitsin. "Ei, minä olen terve", vastasi keisari. — "Mutta muotonne?" — "Jos sinulta olisi kätesi poikki lyöty", vastasi keisari, "sinä varmaan huutaisit ja valittaisit kärsimisiäsi; minulta he viime yönä riistivät Speranskin, mutta hän oli minun oikea käteni!" Koko pitkän keskustelun aikana keisari ainoastaan puhui suuresta vahingostaan, usein kyynelsilmin. "Sinä", sanoi hän vihdoin, "tutkit Moltshanrowin kanssa Mikael Mihailowitshin (Speranskin) paperit, mutta sinä et löydä niistä mitään — hän ei ole kavaltaja". "Mitä oli minun tehtävä", lausui keisari eräälle toiselle seuralaiselleen; "kukaan ei kenties kärsinyt sen vuoksi enemmän kuin minä, mutta minun oli pakko myöntyä mitä välttämättömimpien syitten tähden". Muita samallaisia lausunnoita kerrotaan samalta ajalta. Kun keisari sittemmin 1820 oli päättänyt, että Speranski saisi palata Pietariin toimestaan Sipirian kenraalikuvernöörinä, kysyi hän eräältä Wasiltsikow nimiseltä uskotultaan, oliko hän kuullut, että Mikael Mihailowitsh kutsuttaisiin takasin. Tämä vastasi siitä kuulleensa ja toivotti samalla onnea keisarille, joka sai takasin niin ansiokkaan miehen. "Ei kukaan", lausui keisari, "voi oikeammin pitää arvossa hänen suuria lahjojaan kuin minä. Minä olen vakuutettu siitä, että hän ei ole huono ihminen; mutta silloisten olosuhteitten mahti, jota minä en voinut vastustaa, pakotti minut eroamaan hänestä. Koskaan en kuitenkaan uskonut kavallusta, josta häntä syytettiin, ja minä moitin häntä vaan siitä, että hän ei ollut täysin avomielinen minua kohtaan". — Kenties keisari näillä sanoilla tarkoitti, mitä ylempänä (ss. 52 ja 53) olemme maininneet.