Главный дом этой усадьбы построили во второй четверти XIX столетия, заказчиком стал именитый арзамасский купец Иван Герасимович Попов-Ямщиков. В конце того века эта семья считалась первой в городе. Смету и фасад здания составил городовой архитектор С.И. Соколов — выпускник Императорской Академии художеств.
Зодчий использовал один из типовых проектов «образцовых» фасадов 1809-1812 годов. Одновременно с главным домом появились два каменных флигеля и ограда с воротами, дошедшие до наших дней.
В 1917 году усадьбу национализировали, позже здесь разместился первый уездный комитет ВКП(б). В 1929 году в усадьбе открыли городской узел связи, пять лет спустя закрасили старинные росписи в стиле ампир, сделанные учениками Арзамасской художественной школы. Теперь здесь находятся торговые и офисные помещения.
