Tout au bas du village, en bordure de la route et dominée par le Craz, se trouve la petite maison des Lamartine. Elle n'a point d'histoire: élevée au début du xviiie siècle par Jean-Baptiste, premier seigneur de Montceau, c'était alors, plutôt qu'une demeure, un pavillon où il venait l'automne surveiller ses vendanges. Rien n'y était établi en prévision de longs séjours et au moment de son installation le chevalier fut même obligé d'y faire élever deux cheminées. Aujourd'hui, il est difficile de se la représenter dans son état primitif, car elle a subi des remaniements qui ont modifié entièrement son ancien aspect. Elle est située en retrait de la route unique qui traverse le village, au fond d'une cour actuellement ornée de massifs, mais qui autrefois servait, avec ses communs, à garer cuves, pressoirs et tombereaux. Derrière, s'étend un minuscule jardin dont les charmilles, les frênes et les chênes sont les seuls arbres de Milly, et finit en pente douce au pied du Craz par un potager. Aucune source, aucun cours d'eau n'arrose le pays.

La maison n'a qu'un seul étage; elle est petite, obscure, humide, et jamais le soleil n'y pénètre. Elle comprend en tout neuf pièces et l'on imagine mal comment sept personnes pouvaient y vivre. Des plantes grimpantes recouvrent entièrement les murs jusqu'aux tuiles et les arbres viennent frôler les vitres. En hiver, la tristesse et la désolation sont impressionnantes; ce décor de Milly est une des sources les plus certaines de la mélancolie de Lamartine et explique amplement la maladie de nerfs dont il souffrit lorsque ses vingt ans y furent cloîtrés.

Une grave erreur en effet serait de croire que l'amour de Lamartine pour Milly date de sa jeunesse; il contribua beaucoup à cette légende, mais on voit par sa Correspondance qu'il ne l'appelait guère alors que sa «détestable patrie». Il ne découvrit son charme que longtemps après, lorsqu'il en fit avec le recul du temps le temple de ses souvenirs d'enfance. Milly devint alors pour lui un culte, celui de sa mère dont il venait encore rechercher la trace trente ans plus tard. «C'est, disait-il un jour âprement, la seule chose que je ne pardonne pas à mes concitoyens que de m'avoir forcé de vendre Milly[89].»

Le domaine comprenait une cinquantaine d'hectares plantés en vignes. En 1801, Pierre de Lamartine y ajouta Saint-Point, acheté partie sur ses économies, partie sur une somme qui lui revenait de la succession de son père.

Saint-Point bien plus que Milly fut aux yeux de ses contemporains la véritable demeure du poète. C'était un vieux château féodal bâti sur la vallée de la Valouze dans un joli site boisé et plus riant que Milly, dont il était éloigné d'une quinzaine de kilomètres. Lorsqu'à son mariage Lamartine en acquit la jouissance, il lui fit subir plusieurs réparations et sacrifiant lui aussi à la mode romantique, y fit ajouter des terrasses, des tourelles, des fenêtres ogivales et dentelées qui ne vont pas sans déparer un peu l'austère simplicité romane du bâtiment.

La partie orientale du château comprise entre les deux tours rondes remonte seule au moyen âge; l'ensemble a été remanié à différentes époques et on voit par les inventaires antérieurs à la Révolution qu'il comprenait primitivement quatre grosses tours, des murailles à créneaux qui enfermaient une cour commandée par un pont-levis et entourée de profonds fossés. De l'histoire ancienne du château, on sait peu de chose; il fut assiégé et pris par les Français en 1471 lors des luttes entre Louis XI et Charles le Téméraire; au cours des xviie siècle et xviiie siècles, il demeura le plus souvent inhabité, ce qui explique son délabrement, achevé le 30 juillet 1789 par les émeutiers qui le mutilèrent et le pillèrent entièrement.

Ce jour-là, tous les habitants de Saint-Point, vignerons, grangers et manœuvres, assemblés au son de la cloche, forcèrent la grande porte, découronnèrent les tours, démolirent les charpentes et toitures, brûlèrent les archives. L'affaire fut vite menée, sans résistance possible de la part de l'intendant. Tout ce qu'il put obtenir d'eux fut qu'ils ne mettraient pas le feu au château, leur objectant que l'incendie pourrait gagner le village. Les choses restèrent longtemps en l'état, et la Terreur vint achever la ruine du domaine. Au moment où le chevalier s'en rendit acquéreur, la maison était inhabitable.

La famille de Saint-Point posséda le château—dont les seigneurs se qualifiaient marquis—du milieu du xiie siècle à la fin du xvie siècle. L'un de ses membres, Guillaume de Saint-Point, seigneur de la Foretz, de Chanvantet de Clermatin, a laissé quelque trace dans l'histoire en jouant un rôle assez important pendant les guerres de religion où il se distingua par ses cruautés. En 1557, il fut élu capitaine du ban et arrière-ban de la noblesse du bailliage, et combattit dans les armées catholiques; mais le meilleur de sa célébrité lui vient encore des farces de Saint-Point, jeu qui consistait à noyer en Saône ses prisonniers huguenots et où il conviait en grande pompe tous ses vassaux et amis. Il finit assassiné par un jeune gentilhomme mâconnais dont il avait dévasté les biens, et ses aventures sont relatées dans un ténébreux roman dédié à Lamartine et qui fut accueilli avec succès en 1845, car le public y trouvait une occasion de pénétrer dans ce fameux château de Saint-Point rendu populaire par la gloire de son propriétaire[90].

Sa fille naturelle et légitimée épousa en 1564 Antoine de la Tour de Saint-Vidal qui, comme son beau-frère, fut un des capitaines catholiques les plus acharnés contre les réformés; il eut la même fin tragique et fut tué en duel. Sa veuve se remaria en 1596 et à sa mort légua ses biens à son petit-fils, Claude de Rochefort d'Ally; il épousa Anne de Lucinge et fut gouverneur de Saint-Jean de Losne qu'il défendit héroïquement contre les Impériaux en 1663.

Saint-Point demeura propriété des Rochefort jusqu'au milieu du xviiie siècle; à cette époque il passa par mariage aux mains de Charles Testu de Balincourt qui, le 29 avril 1776, céda le marquisat et ses dépendances à Henry de Castellane, chevalier d'honneur de madame Sophie. Son fils en hérita en 1789; il s'occupa un moment de politique et ce fut lui qui à la journée du 13 vendémiaire fit battre le rappel pour marcher contre la Convention. Condamné à mort par contumace, il prit la fuite, mais revint l'année suivante se constituer prisonnier et fut acquitté. À moitié ruiné, il allait vendre Saint-Point en 1800 à des marchands de biens, lorsqu'à la requête d'un créancier on procéda à une adjudication publique et, le 10 février 1801, Pierre de Lamartine s'en rendit acquéreur au prix de 80 000 francs. L'opération fut très fructueuse pour lui car les bois de Saint-Point n'avaient pas été taillés depuis un siècle: avec une coupe il rentra dans ses débours. Quant au vignoble, il était peu important et abandonné depuis longtemps.