Il débuta par un singulier coup de maître: l'éloge d'Édouard Drumont qui, ne sachant pas qu'Ernest La Jeunesse était israélite, fit un article enthousiaste sur son premier livre.
Ce premier livre fit plus pour la réputation de son auteur que tout ce qu'il écrivit par la suite.
Il était intitulé; Les nuits, les ennuis et les âmes de nos plus notoires Contemporains, qui précèdent, avec une fantaisie plus aiguë et une ironie plus nuancée, le fameux À la manière de... qu'imitent dans les popotes de l'arrière du front tous les trois galons qui, autrefois, eussent passé leur temps à traduire Horace en vers français.
Les Nuits et les Ennuis... amusèrent tous ceux qui y étaient mentionnés. Les articles abondèrent et la réputation de l'auteur fut faite.
Sa tenue de ville y était pour quelque chose. C'était le débraillé, non le débraillé verlainien, mais un débraillé orné de bagues d'améthyste, de cannes extraordinaires, de breloques sensationnelles, en un mot un débraillé boulevardier.
Dès ses débuts à Paris, La Jeunesse s'était logé dans cet hôtel du boulevard Beaumarchais où je l'avais trouvé; il y resta jusqu'à ce que, peu avant la guerre, les bénéfices que lui procura sa collaboration anonyme au Petit Café lui eussent permis de s'agrandir en transportant rue de Liège, alors rue de Berlin, ses casques, ses armes, ses défroques de l'armée napoléonienne, les livres, les cannes, les miniatures, les médailles, les pièces de monnaie qu'il entassait dans cette chambre d'hôtel où le tas n'était pas loin d'atteindre le plafond. Ceux qui furent admis dans ce capharnaüm se souviennent du pot de chambre débordant de montres anciennes.
Au temps de la Revue Blanche, Ernest La Jeunesse s'égarait parfois jusqu'à la rue de l'Échaudé où son ami Jarry s'ingéniait parfois à le turlupiner.
Plus tard, il accompagna une fois Moréas à la Closerie des Lilas.
Somme toute, il se confinait sur la rive droite, ou plus exactement sur les boulevards où il avait des habitudes.
Ce fut un événement le jour où, Dieu sait à la suite de quelle discussion littéraire, il abandonna le Kalisaya, où il s'était lié avec Oscar Wilde, pour adopter le Bols situé en face.