Замечательно, что и брат его, Алексей Иванович, умер такою же почти смертью, едучи на извозчике из гостей, и попал домой мертвым, не прямо, а сначала побывав в Тверской части»,
Подобно своему брату Алексею Ивановичу, Герасим Иванович был коллекционером. Он собирал картины и преимущественно русской школы. Его галлерея начала составляться с начала 50-ых годов. Он положил ей основание, купив у юноши Перова, только что выступившего со своим могучим талантом, — его «Приезд станового на следствие» — в 1851 году и «Первый чин дьячковского сына» — в 1858 году. В течение 60-ых годов к ним присоединилось несколько других хороших картин: «Разборчивая невеста» Федотова, «Вирсавия» Брюллова (эскиз), «Вдовушка» Капкова, пейзажи Айвазовского и Боголюбова, «Таверна» и «Рыночек» Риццони. Коллекция эта более не существует: после смерти Г. И. Хлудова она была разделена между его наследниками.
У Алексея Ивановича было четыре сына. Из них Иван Алексеевич был одним из самых выдающихся представителей своей семьи. Он родился в 1839 году и скончался в 1868 году, всего 29 лет от роду. Он получил образование в С. Петербургском Петропавловском училище и, после его окончания, был отправлен в Бремен, на службу, в контору, имевшую обширные торговые сношения со всеми странами света, а через два года отправился в Англию, где основательно изучил хлопковый рынок. В 1860 году был в Северо-Американских Соединенных Штатах, изучил на месте производство хлопка и завел для Торг. Дома бр. Хлудовых торговые сношения с Америкой, но в самом начале от этого получились убытки, так как в это время в Америке была гражданская война, и купленный хлопок был конфискован и частью сожжен.
Тогда Торговый дом Хлудовых открыл в Ливерпуле свою контору.
Впоследствии, когда началась хлопковая торговля со Средней Азией, Иван Алексеевич отправился туда для изучения дела на месте и установил торговые сношения. Но в Самарканде он заболел и скоропостижно умер.
У Алексея Ивановича было три дочери: Ольга Алексеевна Панина, Варвара Алексеевна Морозова и Татьяна Алексеевна Мамонтова. Две последних занимали видное место в московской купеческой иерархии, и в смысле жертвенности, и по своей поддержке культурных начинаний.
Хлудовы наряду с Бахрушиными занимали видное место в деле устройства благотворительных учреждений. Ими были созданы:
Богадельня имени Герасима Ивановича Хлудова, Палаты для неизлечимо больных женщин, Бесплатные квартиры имени П. Д. Хлудовой, Бесплатные квартиры имени Г. И. Хлудова, Бесплатные квартиры имени Конст. и Ел. Прохоровых, Ремесленная школа,
Детская больница имени М. А. Хлудова — являлась Университетской клиникой по детским болезням.
Упоминавшееся ранее собрание старинных рукописей А. И. Хлудова составило особую Хлудовскую библиотеку рукописей и старопечатных книг при Никольском монастыре.