Tämä erillinen elämä olisi ollut vaarallinen jokaiselle mahtavalle miehelle, mutta sen täytyi synnyttää vaaroja varsinkin sille, joka, Speranskin tavoin, oli antautunut laajaan reformityöhön. Kun hän työhuoneessaan teki suunnitelmia Venäjän tulevaisuutta varten ja kirjoitti asetuksia, jotka antaisivat uuden muodon sen julkiselle elämälle, kasvoi hänen vastustajainsa luku kasvamistaan. Korkeammasta ylhäisöstä ja virkamiesluokasta levisi nurjamielisyys häntä vastaan yhä laajempiin piireihin. Hän oli toimeen pannut tullien ja verojen korotuksen saadakseen aikaan pysyvän tasapainon valtion tulo- ja menoarvioon, mutta kansa nurisi uusien rasitusten vuoksi, joitten tarkotusta se ei käsittänyt, ja piti niitten alkuunpanijaa sortajana. Valheellisia huhuja oli liikkeessä, että Speranski käytti valtaansa itsensä rikastuttamiseksi kansan kustannuksella.
Sellainen oli Speranskin asema, kun 1811 vuoden kuluessa Venäjän ja Rankan väli niin järkyttyi, että 1812 vuoden sota vihdoin syttyi. Speranski oli tosin sangen vähän ryhtynyt Venäjän ulkomaapolitiikkiin, mutta hänen vaikutustaan luultiin suureksi silläkin alalla, ja kaikissa tapauksissa pidettiin häntä syystä Venäjän ranskalaismielisimpänä valtiomiehenä. Olihan hän parannuksissaan aina kiinnittänyt huomionsa Ranskan oloihin ja laitoksiin. Samalla siis kuin kylmyys Ranskaa vastaan eneni, täytyi hänen vaikutuksensa vähetä.
Speranski aavisti itse, että vaaroja alkoi kokoontua, kuten voi huomata siitä, että hän jo ennen mainitussa, helmikuussa 1811 keisarille jättämässä virkakertomuksessaan huomautti keisarille, että liian monta erilaista asiaa oli annettu hänen huostaansa, jonka vuoksi hänen oli mahdotonta hoitaa kaikkia hyvin. Hän valitti sen ohella, että hänen asemansa oli tuottanut hänelle useitten henkilöitten vihamielisyyden, jota hän ajan pitkään ei voisi vastustaa. Hän pyysi sen vuoksi vapautusta valtakunnansihteerinvirasta ja Suomen valtiosihteerinvirasta voidakseen yksinomaan antautua lakikomissioonin johtoon, mikä tärkeä tehtävä yksin vaati yhden miehen kaikki voimat. Keisari ei suostunut hänen pyyntöönsä, mutta juuri näiltä ajoilta hän kuitenkin alkoi olla valtakunnansihteeriin luottamatta. Russki Arkivissa 1871 julaistussa Pogodinin kirjoituksessa[17] mainitaan muutamia sanoja, jotka keisari Aleksanteri olisi lausunut de Saint-Glinille, Speranskin kertomusta luettaessa, joista näkyy, että Aleksanteri I jo silloin hiljaisuudessa mietti, kuinka hän sopivimmalla tavalla vapautuisi suosikistaan.
Speranskin vastustajiin liittyi näinä aikoina mies, jonka asema julkisessa elämässä ei ollut huomattava, mutta jonka sanoilla juuri sen vuoksi, että hän esiintyi yksityishenkilönä ilman omaa etua, oli sitä suurempi merkitys: kuuluisa historiankirjoittaja Karamsin. Hänen kirjoittamansa kirjoituksen "Vanhasta ja uudesta Venäjästä" antoi hänen suojelijansa Maria Paulowna keisarille, joka, kirjoituksen sisältämästä hänen omien toimenpiteittensä ankarasta arvostelusta huolimatta, luki sen mielenkiinnolla, ja johon se teki pysyvän vaikutuksen. Ensi sijassa moitti Karamsin valtakunnanneuvoston toimeenpanoa sekä senaatin ja ministeristöjen uutta järjestystä. Uusi valtakunnanneuvosto oli hänen mielestään tarpeeton laitos, tyhjä koristus, joka vaan saattoi estää asiain kulkua, mutta ei edistää niitten onnellista ratkaisua. Itsenäistä asemaa ei valtakunnanneuvoston pitäisi koskaan saada eikä se koskaan sitä voisi saada, sillä neuvosto on jo luonnoltaan ainoastaan hallitsevan kutsuma virasto, jonka hän mielensä mukaan saattaa muuttaa tai poistaa; muutoin voisi valtakunnanneuvostosta tulla hallitsijan vallan käyttämisen este. Senaatin muutokset olivat muka ristiriidassa vanhain ja hyvien perintötapojen kanssa. Ja ministeristöjen uusi järjestys vaikuttaisi hallitustoimen hajaantumista. Karamsin ei epäillyt sanoa, että venäläisten tyytymättömyyden pääsyynä vallitsevaa hallitusta vastaan oli sen hallinnollisten muutosten hyödytön rakkaus, jotka järkähyttivät valtakunnan perustuksia ja joitten hyväätekevät vaikutukset vastaiseksi olivat epäillyttäviä. Samalla tavoin hylkäsi Karamsin Speranskin uuden siviililain ehdotuksen, joka hänen mielestään oli ristiriidassa Venäjän kansan oikeudellisten näkökantain ja tapojen kanssa, sekä hänen toimenpiteensä valtiovarain ja rahajärjestelmän alalla, joista ainoastaan oli seurannut elinkustannusten kallistuminen ja valtakunnan varallisuusvoimain luottamuksen väheneminen. Muutamissa kohdin arvosteli Karamsin oikein ja sattuvasti Speranskin toimenpiteitä, mutta ylipäänsä oli hänen tutkimuksensa pintapuolinen ja oikeudeton, kun kuitenkin esityksen varma muoto ja siinä vallitseva luja vakaumus voi herättää luottamusta.
Tämä Venäjän sivistyneen yleisön riveistä kohonnut ääni sai voimakkaan vastakaiun koko Venäjän yhteiskunnasta. Moskovassa, joka kuvernööri Rostoptshinin johdolla oli Ranskaa vastaan tähdätyn, yhä voimakkaammaksi paisuvan kansallisen liikkeen pesäpaikka, ja Pietarissa levitettiin tuhansin kappalein häntä vastaan vihamielisiä häväistyskirjoituksia, joissa häntä syytettiin Venäjän koko valtiollisen järjestelmän turmelemisesta, valtakunnan kukistuksen ennustamisesta ja petollisista neuvotteluista Napoleonin asiamiesten kanssa tarkotuksella myödä valtakunta, j.n.e. Huhuja liikkui siitä, että hän oli jumalankieltäjä, joka oli liittynyt kristillisyydelle vihamieliseen vapaamuurariyhdistykseen. Hän olikin todella, oppiakseen tuntemaan vapaamuurarien salaisuuksia, kaksi kertaa käynyt vapaamuurarien kokouksissa yksityisessä huoneustossa, mutta mitään enempää yhteyttä hänellä ei ollut tämän eikä minkään muun salaisen seuran kanssa. Uskonnollisissa asioissa hän kallistui mystilliseen katsantokantaan ja lähestyi sen vuoksi erästä ulkomaalaista Fessler nimistä miestä, joka jonkun aikaa esiintyi mystillisyyden edustajana Pietarissa, mutta tämä tuttavuus oli aivan ohimenevää laatua eikä sillä ollut mitään merkitystä Speranskin elämässä.[18] Vihdoin syytettiin häntä siitä, että hän oli ryhtynyt yhteyteen puolalaisten kanssa, jotka muka olivat tarjonneet hänelle suuria summia, että hän vaikuttaisi heidän etujensa hyväksi, sekin panettelua, joka vielä vähemmin perustui todellisuuteen.
Kun Speranski oli aseeton näitä hiipiviä huhuja vastaan, vaikka hän ei ollutkaan niistä tietämättä, muodostui hovissa keisaria lähinnä olevista miehistä ryhmä, joka juonien kautta ryhtyi häntä kukistamaan. Paroni Korff ei, kenties henkilöitten tähden, jotka olivat elossa kun hänen kirjansa ilmestyi, mainitse niitä, jotka olivat niitten etunenässä, mutta muista tiedoista ilmenee, että Kustaa Maurits Armfelt ja poliisiministeri Balashow olivat toimeliaimpia ja että liiviläinen paroni Rosenkampf oli juonissa mukana. Armfelt, joka kenties piti Speranskia kilpailijanaan keisarin suosiosta, oli muutoin perintölaillisuus-aatteen intohimoinen puolustaja eikä vähemmin innokas Napoleonin vihaaja. Ehkä hovivehkeisiin perehtyneelle miehelle myös oli houkuttelevaa olla mukana tässä asiassa. Balashow, joka jo virka-asemansa kautta oli pelättävä, oli tyytymätön sen vuoksi, että hän Speranskin vallitsevan vaikutuksen kautta oli joutunut syrjään. Hän oli Speranskin myötävaikutuksella saanut virkansa, mutta kiitollisuuden tunne oli hänelle tuntematon. Asemaa kuvaa vielä sekin, että Armfelt ja Balashow persoonallisesti olivat katkeria vihamiehiä, mikä ei kuitenkaan estänyt heitä yksimielisesti taistelemasta Speranskia vastaan. Paroni Rosenkampf vihdoin oli Speranskin työtovereita lakikomissioonissa ja luuli, että häntä siinä oli syyttä syrjäytetty.
Jaakko de Saint-Glinin muistiinpanot valaisevat omituisella tavalla sitä menettelyä, jota liittoutuneet käyttivät.[19] He kertoivat lakkaamatta keisarille lausunnoita, joita Speranski varomattomasti oli lausunut tai jotka pantiin hänen sanomiksensa, ja selittivät niitä herättääkseen keisarin epäluuloa valtakunnansihteeriä vastaan. Keisari puolestaan tuon tuostakin kääntyi Saint-Glinin puoleen kuullakseen hänen mielipidettään ilmiannoista. Siten ilmoitti keisari hänelle Balashowin kertomuksen, jossa tämä kuvasi käyntiään Speranskin luona. Poliisiministerin mielestä oli valtakunnansihteeri kokonaan taikasalaisuuksien ympäröimä. Keskustelun kuluessa olisi Speranski lausunut: "Te tunnette keisarin epäluuloisen luonteen. Kaikki, mitä hän tekee, tekee hän puoleksi", ja vielä: "hän on liian heikko hallitsemaan ja liian voimakas hallittavaksi". Saint-Glin ei voinut uskoa kertomusta todenperäiseksi, jo senkin vuoksi että Speranski ei suinkaan noin herkkäuskoisesti olisi voinut ilmaista ajatuksiaan. Keisari myönsi muistutuksen oikeaksi, mutta näytti tyytymättömältä, kun Saint-Glin ei tahtonut edistää Balashowin tarkoituksia. Toisen kerran ojensi keisari hänelle avatun kirjeen, joka oli osotettu Speranskille Pietariin, ja jonka koteloon oli merkitty, että se sisälsi 80 tuhatta ruplaa pankinassignaatteja. Kirjeessä, joka oli päivätty Kiewissä, kiittivät puolalaiset kaikista heille myönnetyistä eduista ja pyysivät Speranskia ottamaan vastaan oheen liitetyt 80 tuhatta rupl. pank. assign. Saint-Glin kiinnitti keisarin huomiota siihen, että kirje ei ollut tullut postissa, koska siinä ei ollut kruununsinettiä. Hän lausui lisäksi, että koteloon tuskin oli voinut mahtua 80 tuhatta ruplaa ja kysyi: onko rahat annettu Teidän Majesteetillenne? Hämmästyneenä löi keisari silloin otsaansa ja sanoi: Kuinka en ole tullut tuota ajatelleeksi? Kirje oli jo avattu. Hän lisäsi, että Saint-Glin oli tehnyt Speranskille suuren palveluksen. Nytkin osotti keisari jonkillaista mielipahaa siitä, että yritys ei onnistunut. Eräässä puheillepääsyssä sen jälkeenkin puhui keisari siitä katkeruudesta Speranskia vastaan, joka Rostoptshinin kertomuksen mukaan oli vallalla Moskovassa. Siellä oletettiin, että hän ministeristöjen ja valtakunnanneuvoston perustamisen kautta oli tahtonut järkyttää itsevaltaisuuden perustuksia. Myöskin Pietarissa häntä vihattiin. Keisari tahtoi Saint-Gliniltä saada lausunnon, eikö Speranskin toimeenpanema ministeristöjen järjestys ollut poikennut keisarin kunnioitetun kasvattajan La Harpen siitä lausumasta ajatuksesta, mutta nytkin oli Saint-Glin varovainen. Samaan aikaan Armfelt, johon hän oli ystävällisissä suhteissa, lakkaamatta kiusasi häntä aineellisten etujen lupauksilla, jos hän antautuisi juonien välikappaleeksi, mutta rehellinen mies kielsi päättävästi.
Saint-Glinin kertomat vehkeet Speranskia vastaan olivat, kuten lukija huomaa, liian karkeita vaikuttaakseen keisariin, mutta omituista on kaikissa tapauksissa, että hän tavallansa etsi syyn aihetta valtakunnansihteeriä vastaan ja kärsi niitä valheita, joita häntä vastaan esiintuotiin. Epäröivänä ollen hän oli kahden vaiheilla valittavastaan menettelytavasta. — Syvemmin ja hienommin suunniteltu oli eräs samanaikainen juoni, jonka paroni Korff on saanut tietoonsa eräästä Speranskin kirjeestä. Armfelt ja Balashow ehdottivat Speranskille, että he muodostaisivat salaisen kolmimiehistön, joka vallitsisi valtiossa ja tarkoituksiaan varten käyttäisi välikappaleinaan valtakunnanneuvostoa, senaattia ja ministereitä. Ehdotuksen hylkäsi Speranski, joka kuitenkin oli niin epäviisas, että joko henkilöitten tai asian halveksimisen vuoksi tai jostakin muusta syystä ei ilmaissut sitä keisarille. Tästä hänen vaitiolostaan saivat juonen virittäjät aseita käsiinsä ja saattoivat nyt keisarille syyttää Speranskia vilpittömyyden puutteesta hänen hyväntekijäänsä kohtaan, samalla kuin itse sanoivat tehneensä ehdotuksen vaan saattaakseen häntä kiusaukseen. Keisari kävi tyytymättömäksi siitä, että Speranski oli häneltä salannut niin tärkeän asian ja antoi sen jälkeen Speranskin vastustajain vapaasti juonitella häntä vastaan.
Asiasta on vähän lähempi selonteko J. Grotin ennen mainitussa kirjoituksessa "Speranskin karkotuksesta" Russki arkivissa joulukuussa 1871. Kun Speranski, niin kertoo Grot, vuonna 1816 keisarillisella käskykirjeellä oli nimitetty Pensan kuvernööriksi, kävi hänen luonaan Wojeikow, eräs eron saanut sotilas, jonka kanssa hän oli vanhastaan tuttu. Puheltaessa kummasteli Wojeikow, että Speranski oli saattanut ottaa toimen vastaan, kun käskykirjeessä lausuttiin, että hänen tekojansa tarkastettaessa ei oltu löydetty päteviä epäluulojen syitä, mutta samalla tahdottiin antaa hänelle tilaisuutta uutteralla palveluksella puhdistautua täydellisesti. Speranski lausui, että hän todellakin oli tehnyt itsensä hairaukseen vikapääksi ja kertoi vieraalleen seuraavaa. Lokakuussa 1811 kävi valtioneuvos Magnitski useita kertoja hänen luonaan hartaasti pyytäen Balashowin ja Armfeltin puolesta, että hän ottaisi heidät puheilleen edes yhdeksi tunniksi jonkalaisen selityksen tähden. Vaikka Speranski itsepintaisesti oli vastaan, lausuen ettei hänellä ollut mitään heidän kanssaan tekemistä, täytyi hänen kuitenkin vihdoin myöntyä ja päästää heidät luokseen. Silloin esiintoivat he toivomuksenaan, että Speranski joka asiasta, jonka hän esitti keisarille, ensin neuvottelisi heidän kanssaan. Ehdotuksesta Speranski pahastui ja hylkäsi sen. Hän pyysi heitä samalla unohtamaan kaikki ja lupasi puolestaan olla heidän teostaan puhumatta. Sen jälkeen otti keisari muutaman kuukauden aikana Speranskin vastaan kuten tavallista kerran viikossa, vieläpä piti häntä luonaan entistä kauemmin esitysten jälkeen. Viimeisen kerran kohdatessaan Speranskin, jolloin hänen karkotuksensa jo oli päätetty, sanoi keisari muun muassa: Sinä ehdotit Armfeltille ja Balashowille, että he toimisivat yhdessä sinun kanssasi. Speranski vastasi, ettei hän, vaan että he ehdottivat, että heidän olisi kokoontuminen ennen jokaista esitystä. "Minkä tähden olet sitten", lausui Aleksanteri, "ollut siitä minulle puhumatta? Olihan se kolmimiehistö". Tyytymättömänä lisäsi keisari, että hän jo kauan oli odottanut tunnustusta, että hän surulla oli huomannut erehdyksensä, että Speranski oli pettänyt hänen luottamuksensa ja osottanut avomielisyyden puutetta. Kotia palattuaan kertoi Wojeikow Speranskilta kuulemansa vaimolleen, joka sen ilmoitti Saint-Glinille ja jolta myös Grot oli kuullut saman asian.[20]
Tuntuu, kuin jos Speranski itse olisi pitänyt tätä tapahtumaa sangen tärkeänä ja siitä tahtonut etsiä kohtalonsa arvoituksen avainta. Mutta syystä huomauttaa Pogodin, että tällä seikalla ei ole voinut olla ratkaisevaa merkitystä. Eivät Speranskin vihamiehet eikä keisari Aleksanteri itse koskaan viitanneet siihen, ja keisari myönsi itse myöhemmin, ettei ollut olemassa ollenkaan Speranskin syyn todistuksia.