Sen johdosta ryhdyttiin kanslerinvaaliin, jonka nojalla K.M. Armfelt astui Speranskin sijalle. Mitään muuta tietoa entisen kanslerin kohtalosta ei saanut yliopiston konsistori eikä mikään muu Suomen virasto. Suomessa ei näytä tietynkään, mitä oli tapahtunut. Vielä vuonna 1815 kirjoitti J. Tengström Franzénille: "Speranski oleskelee vielä tiloillaan Nishni-Nowgorodin luona eikä ole oikeastaan epäsuosiossa, mutta ei häntä myöskään käytetä virassa. Yleisesti kuitenkin luullaan, että hän vähitellen jälleen pääsee asioihin käsiksi, jos vaan saamme pitää rauhan, jota Jumala antakoon!" Jos Tengströmillä olisi ollut tietoa Speranskin kohtalosta, olisi hän kaiketi kirjeessä ystävälleen Franzénille lähemmin siitä puhunut. — Speranskin kukistusta koskevat lähemmät seikat olivatkin itse asiassa sellaisen pimeyden peitossa, ettei tutkimuksen ole onnistunut sitä edes tänä päivänäkään täydelleen poistaa.
Siihen osaan nähden, mikä K.M. Armfeltilla oli juonissa ennen maaliskuun 17 (29) päivän tapausta 1812, on hyvä tietää, että molempain persoonallinen väli aikaisemmin oli, jollei tuttavallinen, kuitenkin vapaa kaikesta epäsovusta. Armfeltin jälkeenjääneiden paperien joukossa on muutamia kirjeitä, jotka osottavat, että Speranski, mikäli hänestä riippui, myötävaikutti siihen, että Armfeltin muutto Suomeen tapahtui mitä edullisimmissa oloissa. Armfeltin aikaisemmin kesällä 1810 käytyä Pietarissa, ilmoitti Speranski hänelle kirjeessä heinäkuun 16 (28) p:ltä, että hän keisarille oli esittänyt kirjeen, jonka Armfelt oli hänelle jättänyt ja että keisari "pitäen arvossa sitä intoa, joka oli johtanut häntä Suomeen nähden kehittämässä katsantokannassaan" oli luvannut tarkastaa kirjoitusta kaikella sen ansaitsemalla huomiolla. Se hänen oikeuksiensa pitennys Suomen ruotujakolaitoksessa, jota Armfelt oli toivonut itselleen, myönnettäisiin hänelle tammikuuhun saakka 1811, jonka jälkeen keisari uudelleen päättäisi asiasta. Kun Armfelt sittemmin oli lopullisesti päättänyt jättää Ruotsin, kävi Speranski vielä kohteliaammaksi. Helmikuun 3 (15) p. 1811 ilmoitti hän Armfeltille seuraavilla ranskankielisillä sanoilla keisarin toivomukset hänen persoonaansa nähden:
H.M. Keisari, joka on suostunut T. Ylh. lausumaan toivoon asettua asumaan Suomeen, on varustanut Hänen Ylhäisyytensä kenraali v. Suchtelenin[15] valtakirjalla antaaksenne Teidän, herra Paroni, tehdä hänelle uskollisuudenvala lausumanne toivomuksen mukaan.
Kuluneiden vuosien tuloja ei koskaan, hra Paroni, ole pantu kysymyksen alaisiksi Teihin nähden; alusta alkaen on päätetty, että Te olette ne saapa. Keisarillinen Majesteetti on uudistanut käskynsä siitä Suomen kenraalikuvernöörille.
Kun Te siten täydellisesti saatte kaikki oikeutenne Suomessa, riippuu ainoastaan Teistä, hra Paroni, kaiken sen oikeuden nauttiminen, minkä teidän nimenne, ansionne ja H.M. Keisarin oikeamielisyys Teille määräävät.
Olen onnellinen tulkitessani T. Ylh:llenne Keisarin käskyjä ja samalla voidessani mielitellä itseäni sillä toivolla, että pian saan nähdä Teidät täällä. Ottakaa vastaan j.n.e.
Speranski.
Vielä toukokuun 1 (13) p. 1811, kun Armfelt jo lopullisesti oli muuttanut Suomeen, lausui Speranski kirjeessä hänelle toivon saada pian nähdä hänet Pietarissa ja ilmoitti hänelle samalla, että kaikki hänen toivomuksensa jaotuspalkkaan ja kruununvirkataloihin nähden olivat saavuttaneet Keisarin suostumuksen, mikä oli tapahtunut Speranskin esityksestä. Että Speranski sittemmin kernaasti jätti Suomen asiain johdon Armfeltille, käy selväksi siitä, mitä ennen olen maininnut Speranskin suhteesta Suomen komitean perustamiseen. Armfelt ei siis juuri ole voinut muuta olla kuin kiitollinen Speranskille hänen auttavasta ystävällisyydestään yksityisissä ja Suomea koskevissa asioissa. Mitään persoonallista epäsopua ei heidän keskensä ollut. Pikemmin se yleinen asema, johon Speranski oli joutunut, sai Armfeltin ottamaan osaa hänen kukistamiseensa.
Sama oli laita Speranskin muittenkin vastustajain. Persoonallisia vihamiehiä hänellä ei ollut, mutta häntä vastaan kohdistui sangen yleinen ajanhenki voimalla, jota hän ei ollut aavistanut. Silmäys Speranskin asemaan valaisee tätä asian tilaa.
Speranski eli, niin vaikutusvoimainen kuin hän olikin, yhä vaatimattomasti ja säästeliäästi töitään ja tyttärensä Elisabetin kasvatusta varten. Muutamia läheisiä ystäviä oli silloin tällöin koolla päivällispöydässä, ja iltasin oli jotenkin usein järjestettynä vaatimaton seurahuvi, johon, jos aikansa sen myönsi, hän itsekin otti osaa. Muita huvituksia hänellä ei ollut. Suuren maailman seurapiireissä nähtiin hän harvoin. Hänen tulonsa olivat tosin nyttemmin melkoiset,[16] mutta kun hänellä ei ollut yksityisomaisuutta, olisi isosesti eläminen helposti saattanut hänet taloudellisesti riippuvaan asemaan. Venäjän pääkaupungin ylhäissukuiset ja korkeassa asemassa olevat henkilöt kävivät hänen luonaan ja osottivat hänelle usein liehakoitsevaa kohteliaisuutta, kun hän oli keisarin mahtava suosikki, mutta todellisesti he halveksivat häntä nousukkaana. Hän puolestaan ei pyrkinyt heidän suosioonsa sekä luonteensa vissin ylpeyden vuoksi että sen tähden, kun koko hänen aikansa kului valtioiltoihin.