Кроме покупок, императрица заказала лучшим художникам снять копию с ложи Рафаэля.
К собранию картин императрица присоединила коллекцию античных мраморов, приобретенных в Риме, купила также все мраморные статуи у известного в то время мецената Шувалова; затем государыня приобрела у принца Орлеанского богатейшую коллекцию разных камней, античных гемм и стала покупать отрываемые в раскопках древности: монеты, кубки, оружие и пр.
Положив основание художественной части Эрмитажа, государыня избрала его местом отдохновения в часы, свободные от государственных занятий.
Здесь она делила свой досуг в беседе с Дидро, Гриммом, Сепором, принцем де Линь, Потемкиным, Шуваловым, Строгановым и многими другими остроумнейшими людьми своего времени.
Эрмитажем собственно называлась уединенная комната, где теперь хранятся эскизы и рисунки Рафаэля и других великих художников.
Она-то и дала имя всему зданию.
Из этой комнаты был выход в так называемую «Алмазную комнату», в которой, по приказанию императрицы, были собраны разные редкости из финифти и филиграна, агата, яшмы и других драгоценных камней.
Тут поместили все домашние уборы русских царей и бывшие у них в употреблении вещи: часы, табакерки, кувшины, зеркала, бокалы, ножи, вилки, цепочки, солонки, чайные приборы, перья, букеты.
Здесь хранились, между прочим, филиграновые туалеты царевны Софьи Алексеевны и царицы Евдокии Лукьяновны; хрустальный кубок императрицы Анны Иоанновны; серебряная пудреница Елизаветы Петровны, золотая финифтяная чарочка царя Михаила Федоровича; часы, служившие шагомером царю Алексею Михайловичу, модель скромного домика, в котором обитал Петр Великий в Саардаме; кукла, одетая по-голландски — копия с хозяйки этого домика; изображения Полтавской битвы и морского сражения при Гангеуде, высеченные резцом Петра; табакерки, игольник и наперсток работы Екатерины.
Впоследствии эти достопримечательности были расставлены по галереям Эрмитажа.