Церковь Толгской иконы Божией Матери построили в 1761 году на деньги прихожан Ивановской улице (ныне Декабристов). До наших дней уцелел иконостас второй половины XVIII века работы художника Харкова.
За церковью закрепилось название Иоанна Милостивого, поскольку здесь хранятся его мощи. Он пришёл в Ростов в 1571 году, жил при папертях церквей и не имели своего угла. После смерти у его могилы стали происходить исцеления, что поспособствовало его прославлению.
Только храм Иоанна Милостивого не закрывался в Ростове Великом при советских властях. Теперь здесь можно увидеть крест-распятие начала XVIII века, который раньше хранился в снесённой Леонтьевской церкви.
