Мраморный дворец был возведен к 1785 году. Проектировщиком стал архитектор А. Ринальди. Первый владелец дворца Г.Г. Орлов, восхищавшийся талантом Ринальди, пожелал на стене напротив входа установить портрет зодчего. Мраморный дворец стал популярен в первую очередь благодаря тому, что при его облицовке и отделке стен, при изготовлении архитектурных деталей использовался естественный камень, что было впервые в строительной практике Санкт-Петербурга. Здесь можно насчитать не менее семи сортов мрамора, большинство из них с отечественных месторождений, открытых в 1760-х годах на берегах Ладожского и Онежского озер.
На изготовление медных и железных оконных рам ушло 12 лет. Такое необычное решение было ново даже для европейской архитектуры. Императрица даже крышу распорядилась сделать медную, для чего пришлось создавать особое производство на Сестрорецких оружейных заводах, а котором и изготавливали нужное количество листовой меди.
Мраморный дворец в Санкт-Петербурге поражает современников своей роскошью, ведь не случайно его называют шкатулкой с драгоценностями.Сам владелец дома Граф Григорий Орлов не жил здесь ни дня, ведь он скончался в 1783 году, когда не была еще завершена окончательная отделка интерьеров дворца.
В 1832 году Мраморным дворцом овладел великий князь Константин Николаевич, сын Николая I, меценат и известный коллекционер. Многие экспонаты его живописных коллекций находятся сегодня в залах Русского музея. Великий князь был увлечен музыкой и литературой, потому в Мраморном дворце он устраивал балы и концерты с участием А.Г. Рубинштейна, М.А. Балакирева, Н.А. Римского-Корсакова, И. Штрауса. Вскоре вновь начинается капитальная реконструкция дворца, в ходе которой А.П. Брюллов занялся новым оформлением интерьеров залов в стилях позднего ренессанса, готики, рококо. С 1892 по 1915 года новым владельцем Мраморного дворца становится Константин Константинович Романов. За время его жизни тут бывали многие известные поэты, композиторы и государственные деятели. Его наследники жили во дворце вплоть до 1917 года.
После революции здесь разместилась Академия истории материальной культуры, а позже Государственный музейный фонд.
В 1931 году была снята медная кровля дворца, которую направили на «нужды социалистической индустрии».
С 1937 года в здании Мраморного дворца открыт Музей В.И. Ленина. Тогда же перед парадным фасадом установили броневик «Враг капитала». С 1992 года Мраморный дворец находится в составе Государственного Русского музея. Теперь тут не прекращаются работы по реставрации и воссозданию исторических интерьеров дворца. На месте броневика установлена теперь конная статуя Александра III.
Дворец находится на 1-м Адмиралтейском острове, в квартале, ограниченном Дворцовой набережной, площадью Суворова, Миллионной улицей и Мраморным переулком.
Северный фасад здания выходит на Дворцовую набережную, за ней — река Нева, на другом берегу которой находится Петропавловская крепость. Восточную половину этого же квартала занимает Северо-Западный государственный заочный технический университет; между ними в 1997 году был установлен памятник императору Александру III работы Паоло Трубецкого (до того, после демонтажа на Знаменской площади, бывший в запасниках музея).
На восток от здания за СЗГЗТУ памятник А. В. Суворову на Суворовской площади работы скульптора М. И. Козловского; там же расположен Троицкий мост. На юг от здания находятся казармы Павловского лейб-гвардии полка. Напротив западного фасада находятся Северо-западный регистр судоходства и Университет Культуры и Искусств.