Городская управа Ростова в 1905 году направила в Московское архитектурное общество заявку на проведение конкурса на лучший проект будущего здания гимназии. Оно должно было включать интернат на 200 мест, квартиры для надзирателя, директора и инспектора, а также помещение на 600 учащихся. Первую премию получил проект Павла Трубникова, который переехал в Ростов для надзора за строительством.
Торжественная закладка здания состоялась 22 июня 1908 года, все работы проводила петербургская фирма «Кучер-Солун». Спустя два года гимназию приняли в эксплуатацию, её открытие и освящение здания состоялось 5 октября 1910 года. Большое здание было построено в стиле неоклассицизма; здесь есть аудитория на 300 человек, астрономическая обсерватория, актовый и спортивный залы.
Построенное в стиле модерн малое здание изначально использовалось как квартиры для учителей. После здесь размещался Московский центральный опытный педагогический техникум имени Н.К. Крупской, кабинеты иностранных языков и начальная школа.
