La direction de cet institut était confiée aux cheveciers de Saint-Merry qui nommaient une maîtresse révocable à leur gré et une secrétaire plus spécialement chargée de l’entretien de la chapelle.
La fondation de Saint-Avoye prospéra, puis déchut. En 1621, les bonnes femmes renoncèrent à leurs prérogatives ; elles firent don de leur monastère aux Ursulines de la rue Saint-Jacques et elles s’y incorporèrent, sous la règle de cet ordre, acceptant toutefois de rester sous la juridiction du curé de Saint-Merry et lui présentant, à l’église, en offrande, le jour de la fête de ce saint, chaque année « un cierge d’une livre auquel était attaché un écu d’or ».
Les derniers vestiges de ce couvent ont disparu en 1838, lors du percement de la rue Rambuteau.
Appartenaient encore au territoire de Saint-Merry, tel que le limite Lebeuf, la chapelle et l’hôpital de Saint-Julien des Ménétriers dont la façade s’ouvrait sur la rue Saint-Martin et dont le vaisseau s’étendait le long de la rue du Maure. Ils furent fondés au quatorzième siècle, pour abriter et soigner les pauvres ménétriers en détresse dans la ville, par deux musiciens, lesquels, nous raconte du Breul dans son « Théâtre des Antiquités de Paris », « s’entr’aimaient et étaient toujours ensemble. Si un était de Lombardie et avait nom Jacques Grave de Pistoye, autrement dit Lappe ; l’autre était de Lorraine et avait nom Huet, le guette du Palais du Roy. »
Ces deux bâtiments furent dédiés à saint Julien, protecteur des voyageurs, et à saint Genès, mime chrétien, martyrisé sous le règne de Dioclétien et patron des ménétriers.
Terminée et livrée au culte, en 1335, la chapelle ne fut jamais que la très humble vassale de Saint-Merry, car les chapelains, institués pour la desservir, ne pouvaient administrer aucun sacrement sans la permission du curé de la paroisse. Cette situation dura jusqu’au moment où, sur les instances d’Anne d’Autriche, l’archevêque de Paris décida de remplacer ces chapelains par des Pères de la doctrine chrétienne ; les ménétriers, qui tenaient à leurs prêtres, s’insurgèrent et entamèrent contre les nouveaux venus une série de procès qu’ils finirent par gagner ; mais bientôt ils eurent à se débattre dans une plus menaçante aventure. Un ordre de Louis XVI ayant prescrit, en 1781, la fermeture du cimetière des Saints-Innocents qui était le lieu de sépulture des fidèles de Saint-Merry, le curé et le chapitre de cette église voulurent enterrer leurs morts sous le pavé de la nef de Saint-Julien et, à force d’intrigues, ils déterminèrent le roi à convertir, pour leur usage, ce sanctuaire en un charnier.
Exaspérée, la corporation des Ménétriers souleva tout le quartier et en présence des émeutes qui surgissaient de toutes parts, le malencontreux édit fut rapporté.
Une fois de plus, les braves musiciens, si dévoués à leur chapelle, l’avaient sauvée ; mais ce fut une victoire sans lendemain, car la Révolution les dispersa et s’empara de leurs biens.
Telle est en peu de mots la biographie de Saint-Julien dont le portail était orné de trois grandes figures de pierre : le Christ, debout, entre saint Julien et saint Genès ; ce dernier tenait, d’une main, un violon et un archet de l’autre ; douze petites statues, nichées dans les voussures du porche, complétaient le décor ; elles effigiaient des joueurs de timbale, de flûte, de musette, de trompette marine, de serpent, de sistre, de harpe, d’épinette et de luth.
Le tout fut vendu et démoli en 1790 ; l’emplacement de l’église et de l’hospice est actuellement occupé par les maisons désignées sous les numéros 164, 166, 168 de la rue Saint-Martin.