В 1678 году в Ярославле завершилось строительство дома кожевенника Дмитрия Рукавичникова. В 1799 году ветхое здание за долги передали городскому магистрату. В 1802-1848 годах здесь была оборудована казённая квартира ярославского полицмейстера. В разное время тут жили председатель Ярославской казённой палаты, инженер путей сообщения и командир Ростовского гренадерского полка.
В 1820-х годах здание подверглось глобальной перестройке, 40 лет спустя его приобрёл купец А.И. Трунов. В 1869 году постройку передали Ярославскому обществу врачей, чтобы устроить в ней лечебницу для приходящих больных. До 2001 года здесь работали акушерская школа и отделение Ярославского родильного дома №1.
В 2014 году это здание купило ОАО «Ярославский технический углерод». После реставрации в бывшем жилом доме открылся музей имени Вадима Орлова. Его коллекция фарфора, чугунного литья, серебра, предметов быта легла в основу экспозиции.
