В начале XVIII века в северной части Царицына луга (ныне Марсово поле), там, где сейчас стоят дома 2 и 4 по Дворцовой набережной, находились полковые казармы. В 1731 году на месте казарм было сооружено караульное помещение для солдат, охранявших Зимний дворец императрицы Анны Иоанновны.
В 1750 году архитектор Ф. Б. Растрелли построил здесь деревянное двухэтажное здание оперного театра, которое просуществовало до 1773 года. Именно в этом театре была поставлена первая русская опера «Цефал и Прокрис», сочиненная А. П. Сумароковым.
В 1784 году в самом начале Миллионной (ныне Дворцовой) набережной, у Лебяжьей канавки, началось строительство дома для екатерининского вельможи И. И. Бецкого. Имя архитектора, построившего это здание, точно не известно, и искусствоведы до сих пор спорят на эту тему. В литературе в связи с этим можно встретить имена И. Е. Старова, Ю. М. Фельтена и даже уехавшего к тому времени из России Ж. Б. Баллен-Деламота. Историк искусства И. Э. Грабарь считает, что автором проекта был Василий Баженов. В любом случае дом принадлежит к числу интереснейших памятников русского гражданского зодчества конца восемнадцатого столетия.
Особняк часто называли дворцом. При скромном внутреннем убранстве, внешне он выглядел гораздо богаче многих жилых домов Петербурга.
Дом Бецкого в плане образует правильный четырехугольник с обширным внутренним двором. Корпуса здания, украшенные башенками, были разноэтажными. Всех бывавших во дворце пленял висячий сад. Он располагался на разных уровнях над внутренним двором и живописно просматривался между башнями.
Фасад, выходящий на Марсово поле, был двухэтажным. А самым нарядным стал восточный фасад. Его главным украшением были удлиненные арки, а окна выходили на Летний сад.
Построенное здание внесло заключительный штрих в формирование архитектурного ансамбля Марсова поля.
Впоследствии двор частично был застроен флигелями. К дворовому одноэтажному флигелю, граничившему со смежным зданием (дом Салтыкова), надстроили два этажа.
Во дворце располагалась значительная коллекция произведений искусства. Хозяин дворца не устраивал балов и маскарадов. Иногда здесь проходили вечера для воспитанников учебных заведений, подведомственных Бецкому. В гостях у графа бывали французский философ Дени Дидро и польский король Станислав-Август.
В 1791-1796 годах в доме снимал квартиру И. А. Крылов. Его окна выходили на Летний сад. Здесь находилась и типография Крылова, где печатались журналы «Зритель» и «Санкт-Петербургский Меркурий». В марте 1792 года в газете «Санкт-Петербургские новости» было опубликовано следующее объявление: «В Санкт-Петербурге, в типографии «Крылов с товарищи», в новом Его Высокопревосходительства Ивана Ивановича Бецкого доме, что у Летнего сада, выходит ежемесячное издание под названием «Зритель»; в нем помещаются как сатирические, критические, так стихотворные сочинения, подражания и переводы. Началось сие издание с февраля 1792 года… Ежели кто за благо рассудит удостоить сие издание присылкою своего сочинения, то оно помещено будет с благодарностью».
После смерти Бецкого в 1795 году дом перешел к его дочери Анастасии и ее мужу адмиралу О. М. де Рибасу — основателю Одессы. С 1822 года домом стали владеть их дети.
В 1830 году дом Бецкого был выкуплен в казну и передан принцу Петру Георгиевичу Ольденбургскому, Одному из замечательнейших просветителей своего времени. В соответствии с его желанием, над южным корпусом, выходящим на Марсово поле, был надстроен третий этаж, где разместился Танцевальный зал. Висячие сады были убраны. Неизменным остался только фасад, выходящий на Неву. Часть интерьеров была перестроена и отделана В. П. Стасовым в стиле классицизма. Также Стасовым в доме была создана протестантская часовня во имя Христа Спасителя.
Дом Ольденбургских был известен в Петербурге своими музыкальными вечерами. Часто после военных парадов на Марсовом поле в доме принимали сослуживцев Петра Георгиевича по Гвардейскому корпусу и других офицеров.
После смерти П. Г. Ольденбургского в 1881 году особняк перешел во владение к сыну принца Александру. После его женитьбы на принцессе Е. М. Лейхтенбергской, принявшей православие, на третьем этаже здания была создана православная церковь во имя Пресвятой Богородицы.
Во дворце размещалась отличная коллекция произведений западноевропейской живописи, собранная П. Г. и А. П. Ольден-бургскими.
В 1917 году Александр Петрович Ольденбургский продал дом Временному правительству, которое в свою очередь передало его Министерству просвещения. Собрание произведений искусств перешло Государственному Эрмитажу.
После 1917 года во дворце располагались различные учреждения, в части здания размещались коммунальные квартиры. С 1962 года дом Бецкого принадлежал Ленинградскому библиотечному институту.
Ныне во дворце располагается Санкт-Петербургский государственный университет культуры и искусств.