Закладка дома купца 2-й гильдии Петра Будникова состоялась 7 июля 1885 года, работы закончились в 1886 году. В фундамент здания вмуровали памятную изразцовую плиту с информацией о его закладке. Изразцы, украсившие фасад дома, были выполнены на собственном заводе купца.
В начале ХХ века в здании, выстроенном в псевдорусском стиле, находились офицерское собрание, «Общественный клуб». В 1913 году купец продал свой особняк Смоленскому обществу коммерческих служащих. В 1918 году дом стал муниципальной собственностью, до 1935 года здесь находились военные и гражданские учреждения. После здесь открылся Дом пионеров, он же — «Дом коммунистического воспитания детей», а теперь — «Дворец творчества детей и молодёжи». Неподалёку находятся Музей скульптуры С.Т. Конёнкова и Смоленская областная филармония.
