Считается, что этот особняк был построен в начале 1830-х годов. При его сооружении были использованы «образцовые» проекты начала XIX столетия. Известно, что во второй половине того же века здание купил тайный советник Павел Пузан-Пузыревский и немного перестроил его.
Одним из последующих владельцев особняка стал вологодский фотограф Ксенофонт Баранеев. В 1918 году в доме было открыто посольство Северо-Американских Соединённых Штатов. В годы Советской власти здесь работали Клуб водником, ремонтные кооперативы, санэпидемстанция.
В 1997-2012 годах в доме Пузан-Пузыревского функционировал частный Музей дипломатического корпуса. Неподалёку находятся дом Ситникова, дом Левашова и дом Панёва. По легенде, в особняке живёт привидение, выгоняющее отсюда нерадивых хозяев.
