Этот дом был построен неподалёку от старого Гостиного двора (не сохранившегося) в 1830-х годах. В конце XIX столетия здесь расположилась фабрика сарпинских тканей торгового дома «Андрей Степанов и сын».
В начале ХХ века владельцем дома стал некий Потёмкин, который сдавал здесь меблированные номера и держал чайную. Тогда же здание украсила башенка, которую можно увидеть и сейчас. В годы Советской власти дом приспособили под жильё, сейчас первый этаж арендуют предприниматели. Здание включено в список выявленных объектов культурного наследия.