Точная дата постройки этого здания неизвестна, учёные предполагают, что оно было сооружено в конце XVIII – начале XIX века. Гостиным домом с торговыми лавками, которые арендовали армянские купцы, владел надворный советник Кирилл Фёдоров. В начале 1850-х годов он продал здание купцу Аджи Усейнову.
В 1860-х годах на месте снесённых сараев был построен новый гостиный двор с магазинами на первом этаже. Здесь стали селиться армяне, и позже дом стали называть Армянским торговым подворьем. Сейчас здание в стиле классицизм относится к числу объектов культурного наследия федерального значения.