Мраморный дворец был построен по указу Екатерины II в качестве подарка своему фавориту — Григорию Орлову. Он активно участвовал в дворцовом перевороте 1762 года, результатом которого стало свержение правящего Петра III и воцарение Екатерины. Мраморный дворец построили в 1768-1785 годах по проекту архитектора Антонио Ринальди. В ответ граф Орлов подарил императрице персидский бриллиант «Надир-шах», который сейчас известен под фамилией дарителя.
В фундамент здания заложили мраморный ящик с монетами. Плиты гранита и мрамора на строительную площадку привозили по Неве. В 1769 году были построены кирпичные стены и своды, в течение последующих лет проводилась первичная обработка природного камня. После фасады Мраморного дворца стали отделывать гранитом и мрамором, причём белый сорт привозили из Италии, поскольку это было дешевле, чем везти его с Урала или Алтая. Остальные сорта добывали в карьерах в окрестностях Онежского и Ладожского озёр.
Мраморный дворец стал первым зданием в Петербурге, которое было облицовано природным камнем. Антонио Ринальди незадолго до окончания работ упал со строительных лесов и получил тяжёлые травмы. Он уехал из России в Италию, не увидев своё творение завершённым.
После Октябрьской революции Мраморный дворец был национализирован, большую часть его художественных коллекций передали в Эрмитаж. В разное время здесь располагались Наркомат труда, Управление дворцами-музеями, Центральное бюро краеведения, аппарат уполномоченного Наркомата просвещения, Общество социологии и теории искусства, Академия истории материальной культуры. В 1992 году здание передали Русскому музею, в его дворе был установлен памятник Александру III. Теперь в Мраморном дворце проходят временные выставки современного искусства.
