Toutefois, le jeune officier démissionnaire ne quitta pas la France. Son ardent patriotisme ne se serait pas plié aux exigences de l’émigration. Si l’empereur d’Allemagne, François II, passant une revue de ses troupes et fier de leur belle tenue, lui eût dit: «Voilà de quoi bien battre les sans-culottes,» Xavier du Casse, lui aussi, n’aurait pas pu s’empêcher de répondre, comme le fit un gentilhomme français émigré: «C’est ce qu’il faudra voir.»

Resté à Paris, Xavier du Casse, lors de la journée du 10 août, accourut au château, ainsi que d’autres officiers démissionnaires, mettre son épée à la disposition du Roi, qui ne sut pas utiliser les offres d’un grand nombre de braves gentilshommes, et laissa, par une bonté mal entendue, massacrer les Suisses et la plupart de ses défenseurs.

Recherché pour ce fait, le jeune du Casse faillit périr sur l’échafaud; il n’eut d’autre ressource pour échapper aux massacres de Paris que de gagner la frontière des Pyrénées; mais, au lieu de passer en Espagne, il demanda un asile à la grande famille militaire. Nommé lieutenant-adjoint aux adjudants-généraux à l’armée des Pyrénées occidentales, il ne tarda pas à s’élever par son mérite et par son courage. Aussi, lors de la création de la Légion d’honneur, bien que simple adjudant-commandant (chef de bataillon), il fut un des premiers (le dixième) promu officier de l’ordre.

Chef d’état-major de la division territoriale à Bourges en 1804, il épousa l’une des plus jolies personnes de cette ville. Ce mariage le rendait beau-frère d’un gentilhomme connu pour ses opinions légitimistes, M. de Villeneuve Busson, allié de M. Hyde de Neuville, compromis dans toutes les affaires de la chouannerie, devenu plus tard ministre sous Charles X.

Xavier du Casse était un brave soldat, un officier fort instruit, un excellent militaire et un écrivain distingué, mais spirituel, moqueur, caustique à l’excès, toujours enclin à la critique et très-frondeur. Si l’on ajoute à ces qualités et à ces défauts ses attaches dans le parti royaliste, on comprend qu’il fût assez mal vu par Napoléon, qui, connaissant tous les officiers de son armée, se montrait peu bienveillant pour ceux qui faisaient de l’opposition.

Aussi le colonel du Casse fut-il souvent mis de côté sous le premier empire. A la retraite en mai 1809, il fut rappelé à l’activité en 1810 et envoyé en Westphalie en qualité de directeur du personnel du ministère de la guerre westphalien. Ces fonctions dans ce singulier royaume lui convenant peu, au bout d’une année il obtint de passer à l’état-major général du 11e corps d’armée.

Au mois de novembre 1812, il fut investi du commandement du grand-duché de Mecklembourg et envoyé en cette qualité à Rostock. Pendant qu’il occupait ce poste, on lui proposa un million s’il voulait fermer les yeux pendant la visite d’un bâtiment chargé de marchandises anglaises.

Xavier du Casse fit son devoir et resta fidèle à l’honneur, en repoussant cette offre.

Au commencement de 1814, le maréchal Augereau ayant reçu le commandement de l’armée de Lyon, désigna pour son chef d’état-major général le colonel du Casse.

Nommé général de brigade le 23 mars 1814, Xavier du Casse fit toute cette campagne avec le maréchal. Après l’abdication de Napoléon, il fut chargé de pourvoir à la sécurité de l’empereur pendant que le souverain déchu traverserait les départements occupés par l’armée de Lyon. Le 24 avril 1814, il écrivit de Valence, à ce sujet, au duc de Castiglione: