В 1780-х годах в Рязани началось строительство усадебного дома для статского советника и потомственного дворянина Гаврилы Рюмина. Считается, что работами руководил один из учеников Матвея Казакова. Здесь отдыхали все императоры, приезжавшие в Рязань — Александр I, Николай I, цесаревич Александр II.
Самой старой частью усадьбы является центральный объём с шестиколонным портиком. Позднее были построены отдельные корпуса, объединённые в 1816 году. В общей сложности в доме насчитывалось 11 нежилых и 52 жилые комнаты.
В 1833 году сын Гаврилы Рюмина Николай пожертвовал дом Рязанской мужской гимназии. Там устроила здесь пансион для дворянских детей, который существовал до революции 1917 года. Затем центральную часть особняка отдали разным конторам, флигеля — коммунальным квартирам.
В 1980 году в бывшей усадьбе Рюминых провели ремонт для размещения здесь юбилейной выставки «Художники Нечерноземья». По рассказам старожилов, взвод десантников за ночь разрушил все временные постреволюционные перегородки и перекрытия. Впоследствии здание отдали Рязанскому художественному музею, который работает здесь и поныне. Он работает каждый день, кроме понедельника и первой пятницы месяца, с 11:00 до 19:00. Неподалёку расположена Рязанская областная филармония.
