C'était se méprendre étrangement que de compter sur la publicité pour amener Baudelaire à résipiscence; le parquet impérial ne prit pas tant de ménagements. Le livre à peine paru, fut déféré aux tribunaux. Tandis que Baudelaire se hâtait de recueillir en brochure les articles justificatifs d'Edmond Thierry, Barbey d'Aurevilly, Charles Asselineau, etc..., il sollicitait l'amitié de Sainte-Beuve et de Flaubert (tout récemment poursuivi pour avoir écrit Madame Bovary), des moyens de défense dont les minutes ont été conservées et dont il transmettait la teneur à son avocat, Me Chaix d'Est-Ange. Sur le réquisitoire de M. Pinard (alors avocat général et plus tard ministre de l'Intérieur), le délit d'offense à la morale religieuse fut écarté, mais en raison de la prévention d'outrage à la morale publiques et aux bonnes moeurs, la Cour prononça la suppression de six pièces: Lesbos, Femmes damnées, le Lethé, A celle qui est trop gaie, les Bijoux et les Métamorphoses du Vampire, et la condamnation à une amende de l'auteur et de l'éditeur (21 août 1857).
Le dommage matériel ne fut pas considérable pour Malassis; l'édition était presque épuisée lors de la saisie.
Tout d'abord, Baudelaire voulut protester. On a retrouvé dans ses papiers le brouillon de divers projets de préfaces qu'il abandonna lors de la réimpression à la fois diminuée et augmentée des Fleurs du Mal en 1861. Cette mutilation de sa pensée par autorité de justice avait eu pour résultat de rendre les directeurs de journaux et de revues très méfiants à son égard, lorsqu'il leur présentait quelques pages de prose ou des poésies nouvelles; sa situation pécuniaire s'en ressentit. Il travaillait lentement, à ses heures, toujours préoccupé d'atteindre l'idéale perfection et ne traitant d'ailleurs que des sujets auxquels le grand public était alors (encore plus qu'aujourd'hui) complètement étranger.
Lorsque Baudelaire posa en 1862 sa candidature aux fauteuils académiques laissés vacants par la mort de Scribe et du Père Lacordaire, il était, dans sa pensée, de protester ainsi contre la condamnation des Fleurs du Mal. L'insuccès de Baudelaire à l'Académie n'était pas douteux. Ses amis, ses vrais amis, Alfred de Vigny et Sainte-Beuve, lui conseillèrent de se désister, ce qu'il fit d'ailleurs en des termes dont on apprécia la modestie et la convenance.
On a beaucoup parlé de la vie douloureuse de Baudelaire: manque d'argent, santé précaire, absence de tendresse féminine, car sa maîtresse Jeanne Duval, une jolie fille de couleur qu'il appelait son « vase de tristesse », n'était qu'une sotte dont le cœur et la pensée étaient loin de lui. Son seul esprit, son méchant esprit était de tourner en ridicule les manies de son ami. Cependant elle était charmante, nous dit Théodore de Banville, « elle portait bien sa brune tête ingénue et superbe, couronnée d'une chevelure violemment crespelée et dont la démarche de reine pleine d'une grâce farouche, avait à la fois quelque chose de divin et de bestial ». Et Banville ajoute: « Baudelaire faisait parfois asseoir Jeanne devant lui dans un grand fauteuil; il la regardait avec amour et l'admirait longuement; il lui disait des vers dans une langue qu'elle ne savait pas. Certes, c'est là peut-être le meilleur moyen de causer avec une femme dont les paroles détonneraient, sans doute, dans l'ardente symphonie que chante sa beauté; mais il est naturel aussi que la femme n'en convienne pas et s'étonne d'être adorée au même titre qu'une belle chatte. »
Baudelaire n'aima qu'elle et il l'aima exclusivement pour sa beauté, car depuis longtemps, peut-être depuis toujours, il avait senti qu'il était seul auprès d'elle, que les hommes sont irrévocablement seuls. Personne ne comprend personne. Nous n'avons d'autre demeure que nous- mêmes. Tout son dandysme fut fait de ce splendide isolement. Toutefois sa sensibilité était d'autant plus profonde qu'elle semblait moins apparente. Rien ne la révélait. Il avait l'air froid, quelque peu distant, mais il subjuguait. Ses yeux couleur de tabac d'Espagne, son épaisse chevelure sombre, son élégance, son intelligence, l'enchantement de sa voix chaude et bien timbrée, plus encore que son éloquence naturelle qui lui faisait développer des paradoxes avec une magnifique intelligence et on ne saurait dire quel magnétisme personnel qui se dégageait de toutes les impressions refoulées au-dedans de lui, le rendaient extrêmement séduisant. Hélas! toutes ces belles qualités ne le servirent point--du moins financièrement--il ignorait l'art de monnayer son génie. Ainsi, pratiquement du moins, comme tant d'autres, il se trouva desservi par sa fierté, sa délicatesse, par le meilleur de lui-même.
Baudelaire habitait dans l'île Saint-Louis, sur le quai d'Anjou, en ce vieil et triste hôtel Pimodan plein de souvenirs somptueux et nostalgiques. Il avait choisi là un appartement composé de plusieurs pièces très hautes de plafond et dont les fenêtres s'ouvraient sur le fleuve qui roule ses eaux glauques et indifférentes au milieu de la vie morbide et fiévreuse. Les pièces étaient tapissées d'un papier aux larges rayures rouges et noires, couleurs diaboliques, qui s'accordaient avec les draperies d'un lourd damas. Les meubles étaient antiques, voluptueux. De larges fauteuils, de paresseux divans invitaient à la rêverie. Aux murs des lithographies et des tableaux signés de son ami Delacroix, pures merveilles presque sans importance alors, mais que se disputeraient aujourd'hui à coups de millions les princes de la finance américaine.
Au temps de Baudelaire, c'est-à-dire vers le milieu du dix-neuvième siècle, l'île Saint-Louis ressemblait par la paix silencieuse qui régnait à travers ses rues et ses quais à certaines villes de province où l'on va nu-tête chez le voisin, où l'on s'attarde à bavarder au seuil des maisons et à y prendre le frais par les beaux soirs d'été à l'heure où la nuit tombe. Artistes et écrivains allaient se dire bonjour sans quitter leur costume d'intérieur et flânaient en négligé sur le quai Bourbon et sur le quai d'Anjou, si parfaitement déserts que c'était une joie d'y regarder couler l'eau et d'y boire la lumière.
Un jour, Baudelaire, coiffé uniquement de sa noire chevelure, prenait un bain de soleil sur le quai d'Anjou, tout en croquant de délicieuses pommes de terre frites qu'il prenait une à une dans un cornet de papier, lorsque vinrent à passer en calèche découverte de très grandes dames amies de sa mère, l'ambassadrice, et qui s'amusèrent beaucoup à voir ainsi le poète picorer une nourriture aussi démocratique. L'une d'elles, une duchesse, fit arrêter la voiture et appela Baudelaire.
--« C'est donc bien bon, demanda-t-elle ce que vous mangez là?