Люднее стало в клубе, особенно в картежных комнатах, так как единственно Английский клуб пользовался правом допускать у себя азартные игры, тогда строго запрещенные в других московских клубах, где игра шла тайно. В Английский клуб, где почетным старшиной был генерал-губернатор, а обер-полицмейстер — постоянным членом, полиция не смела и нос показать.
После революции 1905 года, когда во всех клубах стали свободно играть во все азартные игры, опять дела клуба ослабли; пришлось изобретать способы добычи средств. Избрали для этой цели особую комиссию. Избранники додумались использовать пустой двор возведением на нем по линии Тверской, вместо стильной решетки и ворот с историческими львами, ряда торговых помещений.
Несколько членов этой комиссии возмутились нарушением красоты дворца и падением традиций. Подали особое мнение, в котором, между прочим, было сказано, что «клубу не подобает пускаться в рискованные предприятия, совсем не подходящие к его традициям», и закончили предложением «не застраивать фасада дома, дабы не очутиться на задворках торговых помещений».
Пересилило большинство новых членов, и прекрасный фасад Английского клуба, исторический дом поэта Хераскова, дворец Разумовских, очутился на задворках торговых помещений, а львы были брошены в подвал.
Дела клуба становились все хуже и хуже… и публика другая, и субботние обеды — парадных уже не стало — скучнее и малолюднее… Обеды накрывались на десять — пятнадцать человек. Последний парадный обед, которым блеснул клуб, был в 1913 году в 300-летие дома Романовых.
А там грянула империалистическая война. Половина клуба была отдана под госпиталь. Собственно говоря, для клуба остались прихожая, аванзал, «портретная», «кофейная», большая гостиная, читальня и столовая. А все комнаты, выходящие на Тверскую, пошли под госпиталь. Были произведены перестройки. Для игры «инфернальная» была заменена большой гостиной, где метали баккара, на поставленных посредине столах играли в «железку», а в «детской», по-старому, шли игры по маленькой.
В таком виде клуб влачил свое существование до начала 1918 года, когда самый клуб захватило и использовало для своих нужд какое-то учреждение.
Одним из первых распоряжений организованной при Наркомпросе Комиссии по охране памятников искусства и старины было уничтожение торговых помещений перед фасадом дворца.
Революция открыла великолепный фасад за железной решеткой со львами, которых снова посадили на воротах, а в залах бывшего Английского клуба был организован Музей старой Москвы.
Наконец, 12 ноября 1922 года в обновленных залах бывшего Английского клуба открывается торжественно выставка «Красная Москва», начало Музея Революции. Это — первая выставка, начало революционного Музея в бывшем «храме праздности».