Живописный Елагин остров издавна играл роль загородной увеселительной усадьбы. Он принадлежал вельможам Шафирову, Мельгунову, а с 1777 года Ивану Перфильевичу Елагину — директору придворного театра, который славился своим гостеприимством и тонким вкусом. В его честь и был назван остров. В 1780-х годах для владельца был возведен дворец. Предполагается, что автором этого строения был архитектор Дж. Кваренги. При нем вокруг дворца был разбит парк с мостиками, беседками, гротами и павильонами. Постепенно остров стал любимым местом загородных прогулок петербургской знати. В 1817 году император Александр I купил земли на острове для своей матери, вдовствующей императрицы Марии Федоровны. Создать летнюю парадную резиденцию и перестроить дворец было поручено архитектору Карлу Росси. От старого здания архитектор частично использовал только стены. В соответствии с проектом Росси, усадьбу планировали заново, так как прежний особняк и запущенный парк не устраивали императрицу, привыкшую к изяществу и блеску Павловского дворца и красотам его парка. Елагин дворец реконструировали, дополнительно были построены кухонный и конюшенный корпуса, несколько павильонов и сооружений в парке. Работы проводились в период в 1818 по 1822 год.
Центральное положение в ансамбле отведено дворцу. По своему характеру он представляет собой загородную усадебную постройку. Дворец расположен в восточной части острова, на берегу Средней Невки. Это прямоугольное в плане трехэтажное здание, приподнятое на стилобате, увенчанное куполом и окруженное ажурной чугунной решеткой с простым, но красивым рисунком. Парадный фасад дворца, обращенный к лугу, монументален и строг. Вход в здание выделен шестиколонным портиком коринфского ордера, который венчает аттик. Ко входу ведет широкая лестница с пологими пандусами по бокам и чугунными изваяниями львов на массивных гранитных постаментах. Их автором является скульптор И. П. Прокофьев. Противоположный восточный фасад выглядит наряднее. Его украшает полуротонда, окруженная коринфскими колоннами. По широкой лестнице с мраморными вазами и цветочницами на постаментах, императрица и ее гости спускались к берегу.
Основные постройки, окрашенные в легкий светло-серый тон, образуют живописную группу вокруг обширного открытого пространства луга. Это своеобразный зеленый парадный вестибюль перед дворцом (названный Масляным лугом, так как на нем во время Масленицы устраивались гулянья), обрамленный стройными белыми колоннадами окружающих его зданий и зеленью. Дорожка, свободно огибающая луг, позволяет по мере движения воспринимать сооружения ансамбля в разных ракурсах. Проектируя парк, Росси максимально использовал и подчеркнул красоту ландшафта, живописность берегов, широкие водные просторы. На месте существовавшего регулярного был создан уникальный пейзажный парк по проекту английского садового мастера Дж. Буша. Были изменены очертания самого Елагина острова, углублены находящиеся на нем водоемы, высажены новые живописные группы деревьев, проложены извилистые дорожки и созданы уютные зеленые лужайки с яркими цветочными клумбами.