Mais cette influence même fut plus tard une des causes de la disgrâce de la comtesse. La mère du roi, Louise de Savoie, habituée à gouverner sous le nom de son fils, ne put voir sans dépit la toute-puissance de la favorite; de ce moment, elle jura sa perte, et attendant une occasion favorable, elle aida à lui susciter des rivales. Mais le crédit de la comtesse n'en fut point ébranlé, et, après ses passagères infidélités, François revenait toujours aux pieds de sa belle maîtresse, plus épris que jamais.
Il faut rendre à la comtesse de Chateaubriant cette justice, qu'elle n'abusa jamais de son pouvoir sur le roi. Elle s'en servit pour faire la fortune de sa famille, de ses trois frères surtout, Lautrec, Lescun et Lesparre. Mais tous trois étaient de vaillants hommes de guerre et d'habiles capitaines, déjà en renom, les deux premiers surtout, avant que leur soeur fût devenue la maîtresse du roi.
Tous trois, il est vrai, jouèrent de malheur en Italie et compromirent singulièrement le pouvoir du roi: mais presque tous leurs échecs doivent être attribués à la lutte sourde de la favorite et de la mère du roi.
Lautrec se trouvait en Italie à la tête de soldats mercenaires braves à la condition d'être bien payés, et capables pour la moindre augmentation de solde de passer d'un côté à l'autre; et c'est un général commandant de pareilles troupes qu'on laissait sans argent! Madame de Chateaubriant obtenait 500,000 livres pour son frère, mais la reine mère arrêtait cet argent en route, il ne parvenait pas, les soldats désertaient, et Lautrec, après avoir sacrifié son bien et celui de ses amis, se voyait sans armée et était forcé de battre en retraite.
Ce que désirait Louise de Savoie faillit arriver: après la bataille de la Bicoque, Lautrec fut rappelé, mais la comtesse lui fit rendre son commandement. Il repartit pour l'Italie emportant... beaucoup de promesses que l'on ne tint jamais.
Lesparre, après l'impolitique attaque de Reggio, qui décida Léon X à se déclarer contre la France, fut également sauvé par sa soeur d'une disgrâce méritée. La comtesse sut détourner les effets de la colère royale.
On ne peut guère lui reprocher ces faits; malheureusement elle eut le tort d'aider à la disgrâce de Jacques Trivulce, qui après avoir, sous trois rois, rendu des services réels à la France, se vit privé de ses commandements et exilé de la cour.
Desservi par Lautrec et par la comtesse, ce vieillard, qui ne méritait que des récompenses, était devenu odieux au roi. Il voulut se justifier. Trop faible pour marcher, il se fit porter sur le passage de François Ier, et quand de loin il l'aperçut il s'écria: «Sire! Sire!»
Mais l'ingrat monarque ne daigna point s'arrêter, ni même tourner la tête, et le vieux soldat mourut de douleur.
Aimée du roi, adulée par les courtisans, enviée par la reine mère, reine au conseil comme au bal, la belle comtesse de Chateaubriant se flattait alors de conserver toujours cette haute position, en dépit de ses ennemis. Il n'était plus question de remords, ni même de regrets. Les chroniques nous apprennent même qu'elle ne fut guère plus fidèle au roi qu'à son mari et qu'elle se vengeait à l'occasion des nombreuses trahisons de son volage amant.