В 1850-1860-х годах в этом здании, возведённом во второй четверти XIX столетия, жил отставной генерал, помещик Алексей Шахматов. В своё время здесь встретились крепостные Шахматовых Эльпидифор Мусатов и Евдокия Коноплева. В 1870 году в этом доме родился их сын Виктор — известный русский живописец.
В 1880-х годах в особняке работала Саратовская уездная земская управа. Для её нужд в 1910 году был надстроен третий этаж. В советское время в здании размещались несколько учреждений. С 1983 года в нём находится Театральный институт Саратовской государственной консерватории имени Собинова. Неподалёку находятся особняк Парусиновой, склады Рейнеке и бывшее здание аэроклуба, где учился первый космонавт Земли Юрий Гагарин.
