В 1891-1894 годах обер-камергер императорского двора Э.Д. Нарышкин построил в Тамбове читальню по проекту архитектора А.С. Четверикова. Участок земли благотворителю и меценату выделила городская управа.
В строительстве использовались самые современные для своей эпохи материалы. В здании была создана Особая библиотека (книгохранилище), работали историко-этнографический музей, Выдачная библиотека. В зале с концертами выступал народный хор, проводились публичные лекции.
В 1917-1918 годах Нарышкинская читальня именовалась Домом собраний и конференций. Тогда же на основе её художественного отдела был создан Губернский художественный музей, работавший до 1929 года. В 1923-1979 годах помещения занимала библиотека, сменившая несколько названий. В 1983 году сюда перевели Тамбовскую областную картинную галерею.
В музее представлены картины русских художников XVIII-XX веков, а также образцы западноевропейского искусства XVI-XIX веков из частных собраний дворян. Картинная галерея открыта со среды по воскресенье с 10:00 до 18:00, по понедельникам — до 21:00. Вторник является выходным днём.