Несмотря на то, что это здание признано объектом культурного наследия федерального значения, о нём мало что известно. По официальной информации, дом Брюханова был сооружён в 1830-х годах. В список особо охраняемых памятников он был включён в декабре 1974 года постановлением Совета министров РСФСР.