Первыми специализированными помещениями для хранения императорских коллекций стали галереи Малого Эрмитажа, однако вскоре их стало не хватать. В мае 1770 года Екатерина II приказала построить вдоль Дворцовой набережной новое каменное здание «в линию с Эрмитажем». Оно возводилось с февраля 1771 года в течение двух лет по проекту Ю.М. Фельтена. Из-за существования Малого Эрмитажа новая постройка стал называться Большим Эрмитажем, а после появления по соседству Нового Эрмитажа — Старым Эрмитажем. Здесь разместились дворцовая художественная коллекция, а в первом этаже- библиотека.
В 1792 году архитектор Д. Кваренги соорудил новый корпус Большого Эрмитажа для размещения Лоджии Рафаэля (позже эта пристройка будет снесена при постройке Нового Эрмитажа). Эта лоджия является копией галереи папского дворца в Ватикане, неточной- ее размеры были уменьшены, и изменены некоторые сюжеты. Конечно же,в Риме галерея открыта, но в Петербурге из-за холодного климата лоджии со стороны Зимней канавки закрыты окнами.
С 1810 по 1870 год в Старом Эрмитаже заседал Государственный Совет, из-за чего Парадная лестница стала называться «Советской». После открытия нового Эрмитажа в 1850 году второй этаж Старого Эрмитажа был реконструирован под руководством А.И. Штакеншнейдера для размещения жилых покоев, где обычно останавливались главы восточных государств. Музею эти помещения были возвращены только в 1885 году.
Эрмитажный театр строился по проекту Д.Кваренги на месте старого Зимнего дворца Петра I (в то время-Лейб-кампанского корпуса), и должен был заменить Театр в юго-западном ризалите Зимнего дворца, который перестраивался для размещения многочисленных внуков Императрицы. В переходе над Зимней канавкой разместили фойе.
Здесь, в Эрмтажном театре, Екатерина II смотрела спектакли в узком кругу своих придворных. Она, как известно, сама писала для театра и здесь ставились и ее пьесы. В 1800 году Кваренги поселился в собственной квартире при Эрмитажном театре, здесь же он умер через 17 лет.
Любопытно,что в 1823-26 гг Александр 1 закрыл театр и передал здание Эрмитажного театра в распоряжение гвардейского Преображенского полка, здесь проходили строевые учения (подобно Павлу I, превратившему в казармы Таврический дворец).