Касимовскую усадьбу Кострова приписывают местному архитектору Ивану Гагину. Классицистический особняк с антресолями и мезонином был построен в 1837-1844 годах. Усадьбу Кострова причисляют к промышленному типу городского усадебного владения.
Изначально это место принадлежало купеческому роду Вереиных, при них и был построен усадебный дом. В 1894 году его продали купцу Замешаеву, а потом — татарскому купцу Кострову, который торговал меховой продукцией.
После революции усадьба была национализирована, в 1926 году в ней открыли туберкулёзный диспансер. Во время Великой Отечественной войны здесь работало педагогическое училище, потом — общежития и жилые квартиры. На данный момент здание расселено и является объектом культурного наследия регионального значения.
