Первый дворец на этом месте был построен в конце XVIII столетия по проекту архитектора Фёдора Демерцова. Заказчицей стала княгиня А.Г. Белосельская, купившая дворовое место в 1797 году.
Архитектор Андрей Штакеншнейдер перестроил здание в стиле необарокко в 1847-1848 годах. По желанию заказчика, князя К.Э. Белосельского-Белозерского, во дворе были построены новые флигеля. При отделке фасадов были использованы приёмы русского барокко, а прототипом здания называют Строгановский дворец. Отделкой занимался датский скульптор Давид Йенсен, создавший фигуры кариатид и атлантов. Автором эскизов интерьеров стал сам Штакеншнейдер.
В 1916-1918 годах здесь работал Англо-русский военный госпиталь, который открыл Британский Красный крест. В 1920 году сюда переехал районный комитет партии Центрального района. Одну часть коллекции картин Белосельских-Белозерских перевезли в Эрмитаж, другую — в особняк семьи на Крестовском острове.
В 1992 году распоряжаться дворцом стал Комитет по культуре мэрии Санкт-Петербурга, распорядившийся устроить здесь «Петербургский культурный центр». С середины 1990-х до 2004 года в бывшем доме князей работал Исторический музей восковых фигур. Сейчас в здании работает Музей становления демократии в современной России имени Анатолия Собчака. Кроме того, по записи можно попасть на экскурсию по парадным залам дворца, а также здесь дают концерты и спектакли. Ближайшие станции метро — Владимирская, Достоевская и Маяковская.
