Это здание было построено в конце XVIII столетия, но год завершения работ и первый владелец в документах не указаны. В начале XIX века здесь бывал будущий декабрист Павел Пестель, а в середине того же столетия проводились собрания масонской ложи.
Известно, что в 1881-1882 годах дом был перестроен для семьи архитектора Людвига Яфа по его же проекту. Зодчий добавил сандрики, пилястры, рустовку и украшения в стиле эклектика, что изменило внешний вид здания.
В 1883 году дом купил уральский предприниматель А.Ф. Поклевский-Козелл, который перевёз сюда свою семью. Память от них осталась на фронтоне — буквы «ПК». В 1888-1892 годах здесь квартировал Модест Чайковский, у которого подолгу жил брат Пётр, всемирно известный композитор. В этой квартире он и познакомился с писателем Антоном Чеховым.
В 1880-1890-х годах в доме жил Яков Полонский, который проводил здесь свои знаменитые «пятницы». Их посещали писатели Фёдор Достоевский и Дмитрий Григорович, историк Владимир Соловьёв, музыкант Антон Рубинштейн. После революции 1917 года в доме проходили заседания Петрогубревтрибунала. Потом здесь очень долгое время находился детский сад №44 Дзержинского района. Теперь помещения памятника истории и культуры федерального значения арендуют «Эрмитажный детский сад» и различные коммерческие организации.
