La fille de Vardes, Marie-Elisabeth du Bec, fut mariée en 1678 à Louis de Rohan-Chabot.
C'est pour son mariage avec mademoiselle de Nicolaï que Vardes fut si vigoureusement aidé contre la famille par l'abbé Fouquet et Candale (Montp., t. 3, p. 76).
Jarzay l'avoit soutenu dans l'intrigue qu'il eut avec madame de La Roche-Guyon. Veuf, il eut deux fois à refuser mademoiselle de La Vallière: on la lui offrit avant l'exaltation; on la lui offrit encore après la chute. Il avoit eu Ninon. Madame de Vardes, morte jeune, avoit brillé à l'hôtel de Rambouillet (Walck., t. 1, p. 39).
En 1650, Vardes est épris de madame de Lesdiguières (Retz, p. 206); en 1652, il combat dans le parti de la cour et a le poignet cassé à Etampes (Conrart, p. 74). Tallemant (ch. 355) dit qu'il touchoit une pension de 6,000 livres pour son beau dévoûment.
De 1655 à 1678 (Daniel, t. 2, p. 312) il fut capitaine de la compagnie des Cent-Suisses. Ce gentilhomme, si poli au Palais-Royal et au Louvre, avoit quelque cruauté. Il fait couper le nez à Montandré, auteur d'un libelle écrit contre madame de Guébriant, sa sœur (Retz, p. 258); il se bat avec le duc de Saint-Simon pour un procès, et il est vaincu (Saint-Simon, 1, p. 50).
La Gazette de France le montre, au mariage du roi, «lestement vestu, à la teste des Cent-Suisses, aussi en habits neufs passementez d'or, avec la toque de velours ondoyée de belles plumes, marchant, tambours battant, sous leur enseigne, semée de fleurs de lys d'or.»
Sa faveur étoit grande alors. Il étoit beau (de la tête au moins); il se crut autorisé à courtiser madame de Conti. Conti l'y prend (Choisy, p. 627) et l'en dégoûte. Il étoit joueur et ami de Gourville (Mém. de Gourville, p. 529), à qui il raconta l'histoire de la lettre espagnole. Madame ne l'aimoit pas (Conrart, p. 279); il poussa le chevalier de Lorraine à l'aimer. Puis vint en effet cette malheureuse lettre espagnole, imaginée avec Guiche et madame la comtesse de Soissons, qui les perdit (Montp., t. 4, p. 43).
«Le roi a fait mettre dans la Bastille M. de Vardes; on ne sçait point le sujet: on dit que c'est à cause de M. Fouquet; mais apparemment c'est le prétexte de quelque autre chose.» (Guy Patin, 16 décembre 1664.)
«M. de Vardes a été amené d'Aigues-Mortes dans la citadelle de Montpellier, par ordre du roi, d'où l'on dit qu'il sera conduit à Paris (31 mars 1665).
(Même lettre.) «Le comte de Guiche a reçu commandement du roi de se retirer à La Haye (en Hollande), et la comtesse de Soissons n'est pas bien dans l'esprit du roi à cause de la lettre qui est venue d'Espagne.»