Каменный остров расположен между Большой, Малой, Средней Невками и Крестовкой. Финское название острова — Кивисаари — «Каменный остров». Вероятно, оно связано с большим количеством выступающих из воды камней в водах Малой Невки вдоль побережья острова, это известно из шведских лоцманских карт XVII века. В 1713 году царь Петр I подарил остров канцлеру Г.И. Головкину. В 1746 году эти земли перешли во владение другому канцлеру — А.П. Бестужеву-Рюмину. Новый хозяин приказал осушить болота, разбить парк и построить на острове дворец. В 1765 году императрица Екатерина II вернула остров в собственность императорской фамилии и подарила его своему сыну — великому князю Павлу Петровичу. Для него на острове был возведен новый дворец, а парк реконструировали по проекту архитектора Тома де Томона.
При императоре Александре I остров стал центром светской жизни города. Тогда всего за 40 дней здесь был построен театр, где ставили спектакли самые известные труппы того времени. При императоре Николае II на острове развернулось массовое строительство дач для богатых петербуржцев. После Октябрьской революции все дачи были национализированы. Вначале на острове разместилась детская колония, а к середине 1930-х годах здания бывших особняков были объединены в один комплекс номенклатурных дач и обнесены глухими заборами. В Каменноостровском дворце разместился санаторий Министерства обороны. С 1920 по 1989 годы остров официально назывался островом Трудящихся, но это название не прижилось.