Биржа на стрелке Васильевского острова была построена в 1805-1816 годах. Автором проекта стал архитектор и рисовальщик из Франции Жан-Франсуа Тома-де-Томон. А первое здание на этом месте было сооружено в 1730-х годах: здесь впервые в России была устроена биржа.
В конце XVIII века здесь стали строить новую Биржу по проекту архитектора Кваренги, но она закончена не была. Продать объект кому-либо тоже не удалось. Тома де Томон создал четыре проекта здания, последний из которых был утверждён императором Александром I. В его же присутствии прошла церемония закладки нового здания Биржи 23 июня 1805 года.
Одновременно со строительством Биржи проводилось переустройство Стрелки Васильевского острова. При сооружении нового здания использовалось порядка двух миллионов кирпичей старого. Авторы скульптурного оформления объекта остались неизвестными. Над главным входом в здание установлена композиция «Нептун с двумя реками», на противоположном фасаде — «Навигация с Меркурием и двумя реками». Официальное открытие здания прошло 15 июля 1816 года в отсутствие его создателя: Тома де Томон к тому времени уже умер.
В 1918 году в Биржу переехал клуб моряков, перед которыми выступали деятели культуры. В 1920-х годах здесь работали Торговая палата Северо-Западной области, после — биржа чернорабочих. Позже в здании функционировали Энергетический институт, Совет по изучению производственных сил СССР, Всесоюзный трест «Союзформлитьё».
В 1939 году в Биржу переехал Центральный военно-морской музей, чья история началась в 1709 году. В 2012 году он занял Морские казармы на Крюковом канале, буквально в двух шагах от острова Новая Голландия. Биржа, в свою очередь, досталась Эрмитажу, который сейчас реставрирует здание, приспосабливая его под музей.