В 1739 году на месте нынешнего здания университета началось строительство дома для графа Левенвольде Рейнгольд Густава, государственного деятеля, обер-гофмаршал, одного из фаворитов императрицы Анны Иоановны. После смены престола по указу новой императрицы Елизаветы Петровны Левенвольде был отправлен в ссылку, а его деревянный дворец перешел в казну государства.
В 1749 году дом обретает нового хозяина в лице президента Академии наук Кирилла Григорьевича Разумовского. Разумовский задумывает строительство нового каменного здания, и к 1766 году на старом фундаменте снесенного дома возводится новый, проектом которого руководят архитекторы А.Ф. Кокоринов и Ж.Б. Валлен-Деламот.
Дворец получился очень гармоничным, со строгими симметричными линиями фасада. По центру фасада проходит колоннада, заключающая в себе шесть колонн и соединяющая воедино два этажа. Окна, имеющие разную форму, обрамлены в резные наличники и лепнину. Территория дворца от набережной отделяет ограда из камня. Садовый участок за домом засажен яблонями, липами и диковинными растениями.
С годами фасад дворца Разумовского претерпел незначительные изменения, а вот внутренние помещения подверглись неоднократнойперестройке. Последняя серьезная реконструкция была проведена в 1829-1834 годах.
В 1781 году Разумовский уезжает из Петербурга, а дворец переходит в руки графа Браницкого К.П. Позднее, после отъезда Браницкого за пределы России, дворец выкупает государство и придает ему новый статус. В его помещениях размещается Воспитательный дом.
С 13(2) мая 1797 года Петербургский Воспитательный дом по распоряжению императора Павла I становится самостоятельным учреждением и взят под покровительство императрицы Марии Федоровны. В него определяли безродных младенцев, подкидышей и детей-инвалидов до десятилетнего возраста. Заведение существовало на благотворительные пожертвования, на доходы от императорских театров. Сюда могли прийти роженицы и оставить своего ребенка на попечение Воспитательного дома. Здесь долгое время существовало Сиротское отделение, которое после преобразовывается в Сиротский институт.
С начала ХIХ века Воспитательный Дом становиться родоначальником практической коррекционной педагогики: открыто опытное училище глухонемых детей – первое стабильное заведение подобного типа.При училище началась подготовка специальных русских учителей. С училищем в дальнейшем связано развитие сурдопедагогики в стране.
Для девочек из разночинного сословия был открыт Александринский сиротский дом (1843) — реальное женское училище, с 1876 г. — Николаевское женское училище. Оно готовило специалистов по дошкольному воспитанию, учителей гимнастики и танцев, педагогов-мастериц для сиротских учреждений всей страны. С 1905 года по 1916 год директором училища был В.И. Срезневский.
В 1912 году учебные программы в институте доведены до объема университетских, а профессора и преподаватели приравнены в правах и привелегиях к университетским.
Сегодня дворец Разумовского хорошо известен коренным жителям Санкт-Петербурга и гостям города. В нем располагается Российский Гоусдарственный Педагогический университет имени Герцена — один из ведущих педагогических ВУЗов Российской Федерации.
С 1 января 2011 года полное официальное наименование — Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Российский государственный педагогический университет им. А. И. Герцена».