Здание, где сейчас находится музей, было построено в 1810 году для Конторы удельных ведомств. Чиновники работали на первом и втором этажах, управляющий занимал помещения наверху. Его должность с 1842 года занимал, кстати, племянник Константина Батюшкова Г. Гревенс.
Поэт-уроженец Вологды жил в этом доме в 1833-1855 годах в семье своего родственника, который из-за душевной болезни литератора был назначен его опекуном. В 1983 году здесь был открыт музей Константина Батюшкова, где имеется литературная экспозиция «Жизнь и творчество Батюшкова». В одной из частей музея воссоздан интерьер салона Гревенсов.
С 2010 года на объекте культурного наследия федерального значения начались ремонтно-реставрационные работы, продолжающиеся по сию пору. На время экспозиции музея разместили в Музее «Мир забытых вещей» и в Иосифовском корпусе Вологодского кремля.
