Арзамасский дом помещика М. Бессонова ориентировочно датируется началом XIX века. По преданию, здесь по пути в Болдинское имение останавливался поэт Александр Пушкин. После революции 1917 года помещичий дом разделили на квартиры.
В 1985 году реставрационная мастерская Арзамаса подготовила проект восстановления здания с последующим приспособлением под литературный центр. Реализован он не был. В 2003 году дом реконструировали под резиденцию правящего архиерея по проекту архитектора А.С. Петряшина. Внутри воспроизведена историческая планировка помещичьей усадьбы. Неподалёку расположены Духовская церковь и главный дом усадьбы дворян Панютиных.