Строительство этого здания в Касимове специалисты датируют началом XIX столетия; изначально им владела мещанка Милованова. Считается, что автором проекта стал местный архитектор Иван Гагин, построивший также дома Кострова, Алянчикова, Губина, Шемякина, духовное училище, три корпуса торговых рядов.
В 1832 году этот дом купили для Василия Баркова. При нём здесь останавливался цесаревич Александр Николаевич, будущий император Александр II, Приказчиком у Барковых был Сергей Салазкин, который стал владельцем особняка в 1860-х годах. Сейчас в объекте культурного наследия расположены магазины и МФЦ «Мои документы».