Здание в стиле позднего классицизма было сооружено на деньги купчихи Варвары Дьяконовой во второй половине XIX столетия. В полуподвальном этаже находились хозяйственные помещения и кухня. Старики обитали в отдельных комнатах на первом этаже, приют был открыт на втором этаже. Варвара Дьяконова была бабушкой писательницы Елизаветы Дьяконовой, автора книги «Дневник русской женщины».
