Первая постройка на этом участке (Английская наб., д. 50) появилась еще в начале XVIII века.
В 1736-1738 годах здесь было построено каменное с мезонином здание шириною 14 саженей, оформленное рустованными и гладкими лопатками. В нем поселилась дочь знаменитого князя Якова Федоровича Долгорукова, деятельного сподвижника Петра Великого — Анна Яковлевна Шереметева. Ее деверь Петр Борисович Шереметев был хозяином дома, который позже полностью стал принадлежать ей.
После смерти Анны Яковлевны дом унаследовали её племянник князь Александр Алексеевич Долгоруков и двоюродная сестра Марья Александровна. Во избежании еще более мелкого дробления наследства, по указу императрицы Екатерины II всё владение особняком отошло старшему брату Александру. В 1785 году он продал участок английскому купцу Якобу Мейбому, спустя еще 5 лет особняк снова был продан камергеру Михаилу Андреевичу Голицыну. Вероятно, при нем дом получил первоначальный облик в стиле классицизма. После смерти князя Голицына вдова и наследники продали дом московскому купцу Михаилу Карповичу Веберу, владельцу ситцевой фабрики в Шлиссельбурге.
К началу XIX века (1820-1835) особняк переходит во владение генерал-адьютанта Василия Васильевича Левашова. После назначения В. В. Левашева черниговским, полтавским и харьковским генерал-губернатором заложенный дом покупает Екатерина Петровна Зиновьева (во втором браке Юрьева), вдова тайного советника.
С октября 1835 по апрель 1837 здесь жил и скончался Всеволод Андреевич Всеволожский (1769-1837), известный и богатейший горнозаводчик. Среди нововведений, освоенных им, были газовое освещение и первый в России пароход. Рябово, имение богача и мецената, ныне носит название город Всеволожск.
В конце 1837 года особняк за 300 000 рублей перешел к графам Стенбок-Ферморам из остзейской аристократии. Они часто устраивали здесь музыкальные вечера, балы и рауты. Вплоть до революции это был сугубо семейный особняк. Вначале дом принадлежал графу Александру Николаевичу Стенбок-Фермору, который отделал главный корпус в его нынешнем виде. Двухэтажное на подвалах здание в стиле зрелого классицизма увенчано выносным карнизом и ступенчатым аттиком. Центральный ризалит в бельэтаже прорезан венецианскими окнами (между ними – лепные венки с лентами) и украшен красивым балконом на чугунных консолях. От второго рустованный первый этаж отделен лепным ленточным фризом, над его окнами – замковые камни с маскаронами.
В 1859-1862 годах особняк снимал прусский посланник князь Отто фон Бисмарк, в будущем канцлер Германской империи. Первое время он обитал в гостинице Демута на Мойке, но князю не нравились грязь и неудобства. Дом Стенбок-Ферморов, судя по письмам Бисмарка жене, ему чрезвычайно нравился. При полной меблировке аренда особняка стоила 7 000 рублей в год — весьма дорого. Но Бисмарка цена не пугала. Он жил в роскошной обстановке. Жена присылала из Франкфурта мебель орехового дерева, резную, старофранцузскую, модную в то время в Петербурге. На Бисмарка здесь работало огромное число слуг. По служебным делам князь часто был на родине. В Петербурге он обитал только несколько месяцев в году.
После смерти Александра Александровича Стенбок-Фермора в конце XIX века участок по наследству перешёл к его дочери Надежде, вышедшей замуж за дипломата графа Петра Алексеевича Капниста (1840-1904). Приезжая в Петербург, супруги жили в богато отделанном корпусе на Галерной, тогда как корпус на набережной занимал отец графини — Алексей Александрович. При них особняк был значительно переделан архитектором В. П. Цейдлером. Он же возвёл во дворе трёхэтажный флигель, обновил фасад дома со стороны Галерной улицы. В 1905 году дворовые флигели были перестроены техником В. А. Теремовским. Тогда же изменились интерьеры в особняке.
Советская власть особняк национализировала и устроила в нем коммунальные квартиры.
В настоящее время сохраняется интерьер ряда комнат второго этажа. Один из парадных залов превращён в квартиру, где остаётся плафон, выполненный предположительно Б. Медичи. Сохранился здесь и наборный паркет. Интересен также один зал в левом корпусе.