En 1572, il ne restait plus que deux religieux dans cet hôpital, presque abandonné. Catherine de Médicis s'étant fait bâtir un nouvel hôtel appelé Hôtel de la reine, et, plus tard, Hôtel de Soissons, sur l'emplacement qu'occupaient alors les Filles repenties, et où s'élève aujourd'hui la Halle au Blé, ces filles, dépossédées, vinrent s'installer dans le monastère des moines de Saint-Magloire, qui, par contre coup, prirent possession de la maison de Saint-Jacques-du-Haut-Pas, emportant avec eux les reliques de leur patron. De là cette demeure prit le nom de leur ordre.
La chapelle du monastère vit, en 1584, s'édifier, à côté d'elle, une nouvelle succursale, consacrée aux besoins spirituels des fidèles du quartier, qui ne pouvaient guère s'accommoder des heures des religieux.
Mais cette église fut bientôt trouvée si petite, qu'on se vit forcé, dans l'année 1630, d'en entreprendre la reconstruction, qui ne put être terminée qu'en 1688. Monsieur, frère de Louis XIII, en avait posé la première pierre, et les libéralités du prince de Longueville contribuèrent à son achèvement.
Le bâtiment qui avait servi à l'ancien hôpital, et qui fut démoli en 1823, était séparé de l'église paroissiale par une ruelle connue, à cette époque, sous le nom de rue des Deux Eglises, auquel celui de rue de l'Abbé de l'Épée a été récemment substitué, à la demande de l'Institution des sourds-muets.
La vie que menaient les moines de Saint-Magloire, scandalisa tellement l'évêque de Paris, Henri de Gondi, qu'il résolut de les supprimer, et de donner leur établissement aux prêtres de l'Oratoire. Cette maison devint ainsi le premier séminaire dont la capitale ait été pourvue. Elle se maintint avec cette destination jusqu'à la révolution de 1792, qui y transféra, ainsi que nous l'avons dit, l'Institution des sourds-muets, fondée par l'abbé de l'Épée.
Voici la description exacte de cet édifice, tel qu'il existe aujourd'hui:
Il est situé au-dessus de l'église de Saint-Jacques-du-Haut-Pas. Son portail, lourd et massif, disgracieux à l'œil, n'offre rien de remarquable comme œuvre architecturale. Les principaux corps de logis, formant les trois côtés de la grande cour, sont: le bâtiment des garçons, en face de l'entrée; à gauche, celui des filles; à droite, un autre bâtiment qui renferme un atelier (celui des menuisiers), la salle des séances publiques, communiquant à la Bibliothèque, l'infirmerie des garçons, outre les logements du médecin, de l'aumônier et des employés. Au nord, un vaste appendice a été consacré à tous les détails de l'administration et aux appartements du directeur, du professeur faisant fonctions de sous-directeur et du receveur-économe. La salle des séances de la Commission Consultative est attenante aux premiers. Du même côté, se déroulent trois jardins: le premier est destiné au directeur, le second au receveur-économe, le troisième à l'aumônier. Le niveau de ces trois jardins, qui côtoyent la rue de l'abbé de l'Épée, est élevé d'un mètre au-dessus de celui du grand jardin de la maison.
Comme les trois petits jardins qui l'avoisinent, le bâtiment en question donne sur la rue de l'abbé de l'Épée, et fait angle intérieurement, du côté du grand jardin, avec la façade du principal corps de logis.
Pour isoler complétement l'Institution des sourds-muets, on a démoli, il y a quelques années, une vieille masure formant l'angle des rues d'Enfer et de l'abbé de l'Épée, laquelle avait abrité jadis le quartier des filles, et tombait en ruine depuis long-temps.
L'ensemble de ces constructions, surmontées de paratonnerres, et élevées de quatre étages, réunit presque toutes les conditions de commodité et de salubrité désirables.