Воронежский дворец был возведён в стиле барокко в 1777-1779 годах. Единственный в городе дворец построили в качестве жилого дома местного губернатора, генерал-поручика И.А. Потапова. По легенде, его возвели специально для императрицы Екатерины II, но эти слухи не имеют подтверждения.
В качестве вероятного автора проекта называют первого губернского архитектора Н.Н. Иевского. Он расположил в центральной части здания лепные барельефы над окнами на тему оружия. В начале ХХ века здание получили городские власти для организации в нём музея. В годы Первой мировой войны здесь располагались военные и медико-санитарные учреждения, после — губархивбюро и губздравотдел.
В середине 1920-х годов Воронежский дворец наконец-то передали краеведческому музею. С 1959 года в здании работает областной художественный музей имени И.Н. Крамского. В 1984 году к нему пристроили выставочный зал с тыльной стороны. Рядом находятся здание управления Юго-Восточной железной дороги и Благовещенский собор.
Музей закрыт в понедельник и вторник, по средам, субботам и воскресеньям он работает с 10:00 до 18:00. В четверг картинами можно полюбоваться с 12:00 до 20:00, в пятницу — с 11:00 до 18:00.
