Эта часть дома Олсуфьевых была построена в Петербурге в XVIII столетии, точный год пока неизвестен. В 1846 году здание расширили по проекту архитектора Андрея Штакеншнейдера.
В 1902 году правую часть дома Олсуфьевых перестроили по проекту Алексея Щусева. Известно, что в одном из корпусов в 1897 году останавливался писатель Лев Толстой, когда посещал столицу в последний раз. Сейчас в здании работают Комитет общего и профессионального образования Ленинградской области, кафе, ресторан, фотостудия. Неподалёку расположены Музей прикладного искусства СПбГХПА имени Штиглица, Михайловский замок и скульптура Чижик-Пыжик.