В 1821-1823 годах в Ярославле на набережной Волги возвели императорский путевой дворец. Спроектированное архитектором Петром Паньковым здание также выполняло функцию официальной резиденции местных губернаторов. До революции здесь побывало несколько российских императоров.
В 1917 году в губернаторской резиденции провозгласили советскую власть. Впоследствии здание занимали уездный исполком, Высшая партийная школа и Технологический институт. В 1969 году сюда переехал Ярославский художественный музей.
В 1994 году был открыт Губернаторский сад, а самому зданию вернули статус Губернаторского дома. Периодически здесь проводятся официальные мероприятия с участием губернатора и чиновников областного правительства.
