В 1828 году в Касимове был построен особняк купцов Барковых по проекту неизвестного архитектора. Раньше на его месте был деревянный дом с хозяйственными постройками. Торговцы железом и золотопромышленники Барковы когда-то были крепостными предпринимателей Баташёвых, которые в своё время владели Гусём-Железным. За лекарский талант Дмитрий Барков получил вольную и уехал в Касимов, где в 1830 году стал городской головой.
В усадьбе были устроены сад с оранжереей и липовой аллеей, а также пруды с рыбами. Несколько комнат в доме специально обустроили для приёма цесаревича Александра II, который посетил Касимов в 1837 году. Парадный зал был отделан мрамором, имелась библиотека.
В 1917 году дом Барковых был национализирован, здесь находились разные лечебные учреждения. В 1918 году он был поставлен на государственный учёт. В 1960-х годах были уничтожены липовая аллея и оранжерея бывшей усадьбы. В 1977 году режиссёр Леонид Гайдай снимал здесь сцены фильма «Инкогнито из Петербурга». Заброшенное здание имеет статус объекта культурного наследия федерального значения, но почти полностью сгорело 20 ноября 2020 года.
