Автором проекта здания Дворянского института императора Александра II стал петербургский архитектор Алексей Пахомов. 30 августа 1844 года состоялось официальное открытие учебного заведения, несмотря на продолжавшиеся работы. Правое крыло было построено к 1845 году, левое — в 1848 году.
Интерьеры Александровского дворянского института расписал учитель Карла Брюллова, академик живописи Алексей Егоров. До наших дней они не дошли. В институте были оборудованы учебные кабинеты, классы, актовый зал, спальни, библиотека, домовая церковь, столовая. Среди учеников института — композитор Милий Балакирев, историки Сергей Архангельский и Константин Бестужев-Рюмин, зоолог Борис Житков, писатель Анатолий Мариенгоф.
После революции в здании были открыты «Почтово-телеграфная контора №1 и электротехникум». В 1923 году сюда переехала Губернская центральная общественно-научная библиотека имени В.И. Ленина, начавшая работу в 1924 году. В 1991-1999 годах здание подверглось капитальному ремонту. Здесь по-прежнему работает библиотека имени В.И. Ленина.