Купец Илья Лазутин начал строительство этой усадьбы в 1870-х годах для единственной дочери. Та умерла, и в 1883 году главный дом сдали в аренду для размещения квартиры станового и почтовой конторы.
Примерно в 1906 году усадьбу купил купец-старообрядец Пётр Облаев, торговавший зерном, владевший паровой мельницей и лесопильным заводом. Главный дом был заново отделан в стиле рационалистического модерна, и в нём поселился сын купца Иван Петрович-младший.
В феврале 1920 года в главном доме усадьбы купца Лазутина открылся краеведческий музей, который располагается здесь и поныне. В его собрании насчитывается 18 тысяч экспонатов, включая коллекции золотого шитья, городецкой росписи и других народных промыслов.
