Особняк на участке, принадлежавшем семье Олсуфьевых, был построен в 1860-х годах. Автором проекта здания стал гражданский инженер Фёдор Соболевский. Скульптор Л.В. Шервуд создал фамильный герб, который был установлен в лучковом фронтоне.
В феврале 1838 года в этом доме недолго жил Михаил Лермонтов, который вернулся в Петербург из первой ссылки на Кавказ. Отсюда он поехал в Новгород, где находился Гродненский гусарский полк. В 1910 году архитектор Алексей Щусев перестроил левую часть дома Олсуфьевых, придав ему черты раннего петербургского барокко.
