Son plus grand amusement, dès lors, fût de bâtir. Et il se bâtit des demeures conformes à cet état d'esprit.
Vers 1523, après son étrange aventure avec sa sœur, il était en galanterie avec deux dames mariées du voisinage de Blois. Les rendez-vous étaient dans les forêts d'en face, à un petit château des anciens comtes. Blois, devenu le centre financier de la France était trop fréquenté.
Au retour de Madrid, plus ami encore du repos, il s'y fit faire un parc, très-grand, fermé de murs, qu'on put remplir de bêtes, s'épargnant ainsi les courses des longues chasses et des grandes forêts. La bicoque ne suffisait plus. Il fallait un château; non un vieux château fort, serré et étranglé, comme un soldat dans sa cuirasse; non le donjon sauvage, inhospitalier, d'où la châtelaine, à son plaisir, chasse les dames, la société, le charme de la vie. Tout au contraire, moins un château qu'un grand couvent, qui, de ses tours, de son appareil féodal, couvrira, enveloppera de nombreuses chambres, de charmants cabinets, des cellules mystérieuses. C'est l'idée de Chambord[20].
Ce n'est ni le donjon gothique, ni la villa, le palais italien, qui a plus de salles que de chambres, beaucoup de place avec peu de logements. La Société ici est l'essentiel, on le sent bien, une société intriguée et mobile. Beaucoup d'aise. Des appartements isolés comme un cloître, qui ne se commandent point, ne se lient point par enfilades. Même des escaliers à double vis qui permettent de monter ou descendre de deux côtés sans se rencontrer ni se voir.
Au dehors, l'unité, l'harmonie solennelle des tours, avec leurs clochetons et cheminées en minarets orientaux, sous un majestueux donjon central. Au dedans, la diversité, toutes les circulations faciles, et les réunions, et les à parte, toutes les libertés du plaisir.
Un spirituel architecte de Blois, inspiré du génie des cours, peut-être guidé par le maître, par le royal abbé du couvent futur, fit le plan de cette construction originale.
Rien ne coûta pour une œuvre si utile et si nécessaire. À travers les malheurs publics et dans les plus excessives détresses financières, dix-huit cents ouvriers y travaillèrent pendant douze ans. Les saintes de l'endroit, les maîtresses du règne, la brune du Midi et la blanche du Nord, mesdames de Châteaubriant et d'Étampes y figurent solennellement en cariatides. Le chiffre de François Ier y est partout, avec le D de Diane, mis par le père? ou par le fils?
Cette édifiante retraite était toute la pensée du roi. De Tours, de Blois, sans cesse, il y venait et la regardait s'élever. Les affaires de l'Europe venaient bien loin après. De Blois où était le trésor, l'argent, de sa pente naturelle, allait droit à Chambord, aux constructions, aux dépenses de la cour. Parfois il s'en échappait quelque peu du côté des affaires pour la guerre d'Italie, peu, à regret, toujours trop tard.