Lorsqu'il revint, sous le consulat, il avait fait, aux États-Unis, une petite fortune qu'il augmenta depuis, à Paris, par des spéculations de terrains et de maisons.
Ma mère le traitait comme un ami; ma grand'mère, madame de Sabran, et mon oncle, revenus de l'émigration, le comblèrent de marques de reconnaissance; toutefois, il n'a jamais voulu faire partie de notre société. Il disait à ma mère (je ne vous reproduis pas exactement son langage, car il était Bordelais, et sa conversation n'était qu'une suite de gros mots), mais il disait à peu près: «Je viendrai vous voir quand vous serez seule; lorsqu'il y aura du monde chez vous, je n'irai pas. Vos amis me regarderaient comme une bête curieuse; vous me recevriez par bonté, car je connais votre cœur; mais je serais mal à mon aise chez vous, et je ne veux pas de ça. Je ne suis pas né comme vous; je ne parle pas comme vous; nous n'avons pas eu la même éducation. Si j'ai fait pour vous quelque chose, vous avez fait tout autant pour moi: nous sommes quittes. La folie du temps nous a rapprochés un moment; nous aurons toujours le droit de compter l'un sur l'autre, mais nous ne pouvons nous entendre.»
Sa conduite a été jusqu'à la fin conséquente à ce langage. Ma mère est restée pour lui, en toute occasion, une amie fidèle et serviable; on m'a élevé dans des sentiments de reconnaissance envers lui; néanmoins, dans sa physionomie, dans ses manières, il y avait toujours quelque chose qui m'étonnait.
Il ne parlait jamais politique, ni religion; il avait une grande confiance en ma mère, à laquelle il racontait ses chagrins domestiques. Nous le voyions de temps en temps; j'étais encore enfant quand il mourut: c'était au commencement de l'Empire.
La première pensée que fait naître le souvenir des malheurs de cette jeune femme, et de la protection divine par laquelle elle échappa tant de fois au péril, c'est que Dieu la réservait sans doute à des joies qui la dédommageraient de tant d'épreuves. Hélas! ce n'est pas dans ce monde qu'elle les a trouvées.
Ne dirait-on pas qu'une créature ainsi poursuivie par le sort et protégée par le ciel, devait inspirer à tous les hommes une sorte de respect et le désir de lui faire oublier ce qu'elle avait souffert? Mais les hommes ne pensent qu'à eux-mêmes.
Ma pauvre mère perdit à lutter contre la pauvreté, les plus belles années de cette vie miraculeusement conservée.
L'énorme fortune de mon grand-père, confisquée et vendue à vil prix au profit de la nation, était presque évanouie: de toute cette opulence il ne nous restait que les dettes. Le gouvernement ne se chargeait pas de payer les créanciers; il prenait les biens et laissait les charges à ceux qu'il avait dépouillés de tous moyens de s'acquitter.
Vingt années s'écoulèrent en procès ruineux, pour arracher d'un côté à la nation, de l'autre à une formidable masse de créanciers qui ne voulaient pas s'entendre, ce qui me revenait de la fortune de mon aïeule paternelle; j'étais créancier, non héritier de mon grand-père, et ma mère était ma tutrice. Son amour pour moi l'empêcha toujours de se remarier; d'ailleurs, devenue veuve par le bourreau, elle ne se sentait pas libre comme une autre femme.
Nos affaires, difficiles et embrouillées, ont fait son tourment; les vicissitudes d'une liquidation des plus laborieuses ont attristé ma jeunesse comme l'échafaud avait épouvanté mon enfance. Toujours suspendus entre la crainte et l'espérance, nous luttions contre le besoin; tantôt on nous promettait la richesse, tantôt un revers imprévu, une chicane habile, un procès perdu, nous rejetaient dans le dénûment. Si j'ai le goût de l'élégance, j'attribue ce penchant aux privations qui me furent imposées dans ma première jeunesse, et à celles dont je voyais souffrir ma mère. Il m'a été donné de ressentir un mal inconnu à l'enfance: le besoin d'argent; je vivais si près de ma mère, que je devinais tout par elle.