1 сентября 1813 года в Касимове состоялось открытие Духовного училища. Оно располагалось в трёх деревянных постройках, которые сгорели в 1828 году. На их месте в 1836 году построили здание для училища по проекту архитектора Ивана Гагина.
Здание внесено в список объектов культурного наследия регионального значения. Напротив бывшего Духовного училища расположены церковь Успения и здание Женской гимназии.