Первым владельцем этого особняка в Литейной части был прадед А.С.Пушкина Абрам Ганнибал, а затем его сыновья. В 1801 году они продают особняк сенатору Ивану Неплюеву, а в 1855 году его приобретает князь Пётр Трубецкой. Именно для князя архитектор Г.Боссе оформляет в разных исторических стилях парадные залы, сохранившиеся до сих пор.
В 1874 году дом приобрёл зять князя Павел Демидов (носивший не признанный в России титул Сан-Донато). В следующем году Демидов перепродал участок Василию Львовичу Нарышкину. После 1917 года хозяева особняка уехали из России, замуровав часть своих сокровищ внутри здания. Особняк передавался от одной организации к другой, пока не был отреставрирован для размещения культурного центра.