Первым владельцем двухэтажного каменного особняка на этом месте был купец 3-й гильдии Серапион Везломцев. Но купец накопил большие долги, в связи с чем распрощался с домом, который купил М.Г. Рукавишников. Он открыл первый в Нижнем Новгороде сталелитейный завод и являлся крупным ростовщиком-процентщиком.
Его сын решил сделать из усадьбы величественный комплекс в стиле итальянского палаццо, для чего её нужно было перестроить. Проект реконструкции старого здания выполнил архитектор П.С. Бойцов. За создание фасадного декора отвечал петербургский художник М.О. Микешин. Архитектор сохранил несущие стены старого дома, пристроив к нему третий этаж, крышу и мраморную парадную лестницу. Она вела к двухсветному залу, украшенному росписью и лепниной.
Реконструкция завершилась в 1877 году: балкон второго этажа стали поддерживать атланты, здание украсила лепнина. В оконных простенках расположились фигуры кариатид. Во внутреннем дворике оборудованы веранда и фонтан. Особняк является примером хорошо сохранившегося крупного городского усадебного комплекса последней четверти ХIХ века.
В 1924 году в особняке открылся краеведческий музей, ставший теперь Нижегородским государственным историко-архитектурным музеем-заповедником. Здесь собраны свыше 320 тысяч единиц хранения, среди которых предметы из собраний знаменитого нижегородского фотографа А.О. Карелина, купцов Д.В. Сироткина и В.М. Бурмистровой, дворян Шереметевых и Абамелик-Лазаревых.
Главный дом усадьбы сейчас является объектом культурного наследия. Его изобразил в своём романе «Проклятый род» один из потомков династии И.С. Рукавишников. Сейчас посетителей усадьбы знакомят с её прекрасными интерьерами и несколькими выставками.
