Впервые это здание упоминается в документах за 1822 год. Известно, что тогда здесь жила семья Пашковых. В 1836 году отделка фасада была изменена по эскизу архитектора Альберта Кавоса.
К 1868 году владельцем дома стал генерал-лейтенант граф Николай Левашев. Его потомки были хозяевами здания до 1904 года, когда оно перешло к Марии Вяземской. В 1910-1911 годах был оформлен проезд во двор и там выстроен жилой корпус по проекту архитектора Николая Путинцева.
В 1884-1896 годах здесь жил врач и педагог Пётр Лесгафт. В 1921 году поэтесса Анна Ахматова переехала в этот дом вместе с художницей и актрисой Ольгой Глебовой-Судейкиной. Сейчас в памятнике истории и культуры расположены Санкт-Петербургское государственное бюджетное учреждение здравоохранения «Городской врачебно-физкультурный диспансер», магазин, гостиницы.
