В 1740 году вице-канцлер граф М. И. Воронцов приобрел несколько земельных участков, расположенных между берегом реки Фонтанки и недавно проложенной Садовой улицей, которая очень скоро стала одной из наиболее оживленных в городе.
Он решил построить обширную городскую усадьбу с дворцом и парком. Разработка проекта была поручена архитектору Ф. Б. Растрелли, который в то время был в зените своей славы. Петербургские вельможи наперебой стремились получить разрешение императрицы на строительство дворцов по проектам Растрелли.
Строительство дворца для графа Воронцова началось в 1749 году и полностью завершилось в 1758. Он стал классическим образцом городской усадьбы, характерной для елизаветинского времени. Роскошью и богатством дворец соперничал с царскими дворцами. Он располагался по соседству с Аничковым дворцом, но его главный фасад был обращен не к реке, а на Садовую улицу.
Здание стоит в глубине парадного двора, четырехугольного в плане. Два симметричных боковых флигеля вынесены вперед и поставлены по «красной линии» улицы. Они были связаны с главным зданием полуциркульными переходами, которые позже разобрали.
От улицы дворец отделяет узорная чугунная ограда, отлитая по рисунку Растрелли сестрорецкими мастерами. Легкий ажурный рисунок ограды прерывается мощными пилонами, которые первоначально были украшены декоративными композициями. Перед фасадом, выходящим на Фонтанку, был разбит регулярный сад.
Главный вход во дворец когда-то был сквозным, и через него можно было попасть в огромный регулярный сад с фонтанами, аллеями, прудами и богатой скульптурой, тянувшийся до самой Фонтанки.
Интерьеры дворца отличались необыкновенной пышностью, они были богато украшены лепкой, золоченой резьбой, плафонами работы итальянского живописца Д. Б. Тьеполо.
На балу по поводу новоселья присутствовала императрица Елизавета Петровна. Там она объявила о назначении Воронцова канцлером Российской империи.
В доме Михаила Илларионовича жила и воспитывалась его племянница Екатерина Романовна Воронцова-Дашкова.
Над решетчатыми воротами дворца был укреплен герб ордена: на красном фоне белый мальтийский крест. Раздвоенные лучи креста символизировали христианские добродетели: благоразумие, умеренность, мужество и справедливость.
Позже во дворце разместилась Первая Петроградская школа командного состава Красной армии, а в Мальтийской капелле был устроен ее клуб. В 1937 году на базе школы было образовано Ленинградское пехотное училище имени С. М. Кирова.
Во время Великой Отечественной войны в здании находился госпиталь.
Сейчас в Воронцовском дворце находится Петербургское Суворовское военное училище, открытое в 1958 году. В Мальтийской капелле проводятся органные концерты.