Крестовоздвиженская церковь была построена вместе с колокольней в 1750 году, автор проекта неизвестен. Средства на её сооружение выделили купец Морозов и другие прихожане. Раньше на этом месте находился деревянный храм, упоминаемый ещё в Писцовой книге Торжка 1625 года.
В 1842 году церковь подверглась перестройке, получила каменную ограду с кованой решёткой. В 1929 году Крестовоздвиженский храм был закрыт для проведения богослужений. В настоящее время церковь не действует.