Kristiinan suosion oli Fleming voittanut kokonaan. Osoituksena siitä oli, että hän v. 1650 korotettiin valtaneuvokseksi ja v. 1651 sai vapaaherran arvon sekä siihen kuuluvan avaran Liperin lahjoitusmaan. Ja viimein, kruunusta luopuessaankin, osoitti kuningatar hänelle luottamustansa sillä, että valitsi hänet elatusmaittensa pääkuvernööriksi.
Vielä suurempaa suosiota osoitti hänelle sitten Kaarle X. Alkusyynä siihen oli ollut se, että Fleming monessa arveluttavassa tilaisuudessa oli taivuttanut oikullisen, epäluuloisen Kristiinan mielen jälleen nuoren pfalzkreivin puolelle. Sen lisäksi tulivat hänen ansionsa lahjoitusmaitten peruutuksessa. Fleming oli nyt sangen mahtava herra. Valtaneuvoskunnassa oli hänen sanansa voima suuri, sillä hän saattoi usein mielipiteittensä tueksi vedota kuninkaan tahtoon, josta hän yksityistä tietä oli päässyt perille. V. 1657 soi Kaarle X tälle luotettavalle palvelijalleen Etelä-Suomen lakikunnan palkinnoksi, ja testamentissaan määräsi hän Flemingin valtiorahaston hoitajaksi sekä holhoushallituksen jäseneksi prinssi Kaarlen alaikäisyyden aikana.
Mutta yhtä suuri kuin kuninkaan suosio ja luottamus oli aatelin, erittäinkin kreivien ja vapaaherrojen, viha Flemingiä vastaan. Osaksi oli siihen syynä hänen karkea, jörömäinen, synkkä ja umpimielinen luonteensa ja hänen jyrkkä käytöksensä, jotka vaikuttivat sen, ettei hän seurustellessa ollut hauska. Mutta kaikkein enimmin oli hänelle tuottanut vihamielisyyttä hänen ankaruutensa ja kiivautensa lahjoitusmaitten peruuttamisessa. Kuninkaan kuoltua sai Flemingin käytös valtaneuvoskunnassa tämän vihan kiihtymään vieläkin tulisemmaksi. Siinä tuli näet puheeksi uusien lahjoitusmaitten suominen palkinnoksi muutamille herroille. Fleming vastusti sitä ja ehdotti sen sijaan rahapalkintoja. Toiset tahtoivat väkisin kumota hänen vastarintansa; mutta hän vakuutti vain, ettei hän ikänä suostuisi allekirjoittamaan mitään lahjoituskirjaa. Usein pysyi hän kokonaan poissa valtaneuvoskunnan kokouksista, joissa nyt enemmistö oli hänen mielipiteitänsä vastaan. Tämän johdosta moittivat häntä eräässä kokouksessa muutamat virkakumppanit. Fleming ensin syytti kivulloisuuttansa, mutta lopulta sanoi rohkeasti: "omatuntoni ei salli minun allekirjoittaa kaikkea, mitä te päätätte!"
Asiain näin ollessa ei tietystikään Flemingin osallisuus hallituksessa voinut tulla pitkäaikaiseksi. Jo ensimäisillä valtiopäivillä, Tukholmassa, syksyllä 1660, vaati aatelisto kuninkaan määräystä holhoushallituksen jäsenistä päätöksensä alle. Vaalissa sai sitten Fleming aatelissäädyssä ainoastaan 23 ääntä puolellensa, mutta 165 oli vastaan. Useat eivät olleet edes tavalliseen kieltoon tyytyneet, vaan lisänneet siihen mikä mitäkin. Eräässä lipussa oli kolminkertainen: "ei! ei! ei!" — toisessa: "pois vaan!" — kolmannessa: "ristiinnaulitse!" — neljännessä: "päästä meitä pahasta!" j.n.e. Muut säädyt tahtoivat tietää syyn tähän vimmaan. Silloin ruvettiin puhumaan Flemingin kivulloisuudesta, kuuroudesta y.m. — sillä todellista syytä ei toki sopinut julkisesti tuoda esiin. Vaan kun ei näihin selityksiin tyydytty, puhkesi eräs aatelisherra viimein suoraan sanomaan: "meidän mielestämme hän on siihen virkaan aivan kelvoton!" — Aatelittomat säädyt eivät kuitenkaan jättäneet asiaa vielä sillensä; mutta silloin huusi koko aateli yhteen suuhun: "jos Herman Flemingiä tahdotaan väkisin valtionholhoojaksi, niin me ratsastamme kotiin ja keskeytämme valtiopäivät!" Valtaneuvoskunta lähetti nyt kaksi jäsentänsä Flemingin puheille pyytäen, että hän pahennuksen välttämiseksi itse luopuisi paikastansa. Mutta jäykkä Suomen mies vastasi: "jos minun täytyy jättää virkani, niin tapahtukoon se laillisella erottamisella!" Ja niin hän sitten erotettiin.
Fleming vetäytyi nyt kokonaan pois valtioasioista ja istui vain kotona, katkerassa mielessänsä hautoen kostoa uusien reduktsionituumien muodossa, jotka hän antoi perinnöksi pojallensa sekä muille sitten isossa lahjoitusmaitten peruutuksessa toimiville miehille.
Vielä kerran muutamien vuosien kuluttua hän pääsi kuitenkin taas korkeaan virkaan. Valta-amiraali oli silloin kuollut, ja holhoushallituksen esimiestä De la Gardieta vastustava puolue valtaneuvoskunnassa ehdotti avonaiseen virkaan tuota syrjäänsysättyä, vaan näissä asioissa taitavaa herraa. Näin olisi hän jälleen päässyt hallituksen jäseneksi. Sen estämiseksi sai De la Gardie toimeen, että Fleming v. 1664 lähetettiin kenraalikuvernööriksi Suomenmaahan. Myös Pohjanmaa, joka muuten tällä vuosisadalla ajoittain, samoinkuin Länsi-Pohjakin, oli ollut erityisen maaherran alaisena, laskettiin nyt hänen aluskuntansa lisäksi ja yhdistettiin pysyväisesti muuhun Suomeen. Viisi vuotta hän hallitsi täten synnyinmaatansa, kunnes v. 1669, niinkuin tiedämme, Suomen kenraalikuvernöörinvirka kokonaan poistettiin rahavarojen rappiotilan tähden. Flemingin toimista hänen hallintoajallansa ei ole paljon tietoa; sen me vain tiedämme, että hän oli avullisena muutamissa silloisen Turun piispa Gezeliuksen töissä kansansivistämisen hyväksi. Nähtävästi kivulloisuus, ja ehkäpä joku mielenmasennuskin, ehkäisi tuon ennen niin tarmokkaan miehen toimintakykyä.
Virkaeronsa jälkeen ei Fleming elänyt enää monta vuotta. Tauti katkaisi hänen elämänsä heinäk. 28 p. 1673, hänen ollessaan vasta 54 vuoden vanha. Hän kuoli Tukholmassa ja haudattiin siellä Jaakon kirkkoon, missä Flemingeillä silloin oli sukuhautansa. Sekin seikka todistaa Suomen korkeamman aateliston vieraantumista kotimaastansa. Herman Fleming oli kuitenkin vielä pitänyt synnyinmaatansakin muistossaan. Hän oli esim. Louhisaareen rakentanut komean kolmikerroksisen kartanon. Niin myös hän auttoi Ahlaisten kappelin kirkon rakentamista (Louhisaari on siinä seurakunnassa) suurilla rahasummilla. Hänen puolisonsa vaakuna, samoinkuin hänen omansa, on vieläkin siinä kirkossa nähtävänä.
Flemingin pääperiaatteena valtioasioissa oli, niinkuin näimme, säästäväisyys. Senvuoksi hän myös niin paljon kuin mahdollista vastusti Puolan sotaa, joka oli alkuna Kaarle X:nnen kaikkiin muihin sotiin. Fleming erosi siinäkin melkein kaikista sääty- ja virkaveljistänsä, jotka pitivät alinomaisia sotia Ruotsin suurimpana etuna. Mutta sitten, kun sota kerran oli syttynyt, osoitti hän suurta toimeliaisuutta ja jaloa uhraavaisuutta vaaran torjumisessa. Venäläissodan alkaessa oli hän Tukholmassa puolustusvalmistusten johtavana sieluna ja henkenä. Ja kun v. 1657, Tanskan sodan sytyttyä, ei voitu saada mitään lainaa kruunulle, pani hän omat tiluksensa panttiin ja hankki täten noin 120,000 hopeatalaria.
Vihamiehet, joiden käsissä silloin valta oli, ovat myös monin tavoin käyttäneet sitä hänen muistonsa tahraamiseksi. Niinpä esim. on syyttä väitetty hänen intoansa lahjoitusmaitten peruutuksessa vain yksityiseksi kostonhimoksi. Häntä oli näet, ennenkuin hän tuli korotetuksi vapaaherraksi, pari kertaa loukannut ja häväissyt suurien ylimyssukujen röyhkeys. Voihan olla, että sekin vaikutin oli hänessä vallalla — harvoinhan ihmisen sydän parhaissakaan aikeissaan ja töissään on vapaa yksityisistä mielihaluistaan — mutta edellisestä toki nähtäneen, että isänmaanrakkaus kuitenkin oli päävaikuttimena hänen sielussansa.
Useassa suhteessa — niinkuin luonteen jörömäisyydessä ja jyrkkyydessä, aatelisveljiensä vihanalaisuudessa ja kuninkaan etujen harrastuksessaan — oli Herman Fleming, niinkuin lukijakin jo varmaan on huomannut, kuuluisan heimolaisensa sotamarski Klaus Flemingin kaltainen. Tähän vertailuun saattaa, paha kyllä, lisätä vielä yhden ikävän kohdan. Herman Flemingilläkin kuuluu näet olleen sukunsa vanha perisynti: hän oli kova alustalaisiansa kohtaan. Mikä eriskummallinen ristiriitaisuus talonpoikaissäädyn oikeuksien innokkaan puolustajan luonteessa! Myös käypi vielä Louhisaaren tienoolla se tarina, että hän muka oli vaimolleenkin tyly ja piti häntä joskus lukon takana kamariin suljettuna. Lieneekö tässä tarinassa perää vai ei, siitä eivät luotettavat tiedonlähteet anna mitään varmuutta.