Эту церковь в Ростове построили в 1685-1690 годах на средства, выделенные местными жителями. «Ружная» означает, что собственного прихода у неё не было — здесь молились купцы с торга. Время строительства храма совпало с сооружением Архиерейского дома, поэтому в них наблюдаются схожие черты.
Храм установлен на подклете, используемом для хранения товаров. Его стены покрыты фресками, которые написала артель ярославского мастера Афанасия Шустова в 1762-1764 годах. Все иконы интерьера написаны на каменной стене, в XIX столетии их обили деревом и покрыли медными окладами. Церковь Спаса Нерукотворного Образа на Торгу была задействована в богослужениях Успенского собора.
В годы Советской власти храм закрыли, часть фресок была забелена. В конце ХХ столетия в церкви находилась библиотека, в 2003 году постройку включили в программу Всемирного Фонда Памятников по восстановлению исторических зданий.
