Этот дом в стиле классицизм был построен в 1798 году по заказу купца Зиновьева. В 1840-1917 годах зданием владело семейство Александра Абазы, который участвовал в подготовке и реализации крестьянской реформы 1861 года.
В 1880 году Александр Абаза занял должность министра финансов Российской империи, на которой работал в течение года. Его жена Юлия открыла в доме салон, где 6 марта 1879 года состоялось первое исполнение оперы Петра Чайковского «Евгений Онегин».
21 декабря 1914 года в этом здании освятили лазарет имени Её императорского величества императрицы Александры Фёдоровны. Здесь устроили 50 коек для раненых на фронтах Первой мировой войны нижних чинов.
В годы Советской власти дом надстроили двумя этажами, на которые фундамент рассчитан не был. В то время здесь находилась редакция журнала «Строительство и архитектура Ленинграда». В 2010 году Комитет по охране памятников согласовал «реконструкцию» дома, предусматривающую практически полную его разборку, но здание удалось отстоять. В дальнейшем дом планируется реконструировать под гостиницу. Рядом расположены Музей Фаберже и дом Е.Ф. Муравьёвой.