Эта постройка является одним из немногочисленных уцелевших псковских зданий конца XVIII века. Она была построена в 1793 году по проекту местного архитектора Ивана Альбрехта. Заказчиком жилого дома стал коллежский советник Михаил Брылкин.
В документах 1805 года постройка обозначена как «почтамт помещика Михаила Брылкина». Во время визитов в Псков её посещал Александр Пушкин. В течение XIX столетия комплекс почтового дома несколько раз перестраивался. В ХХ веке в этом здании получал литературу Владимир Ленин. В 1901 году дома стал называться псковской почтово-телеграфной конторой.
В марте 1917 года с балкона почтамта выступил командующий Северным фронтом генерал Николай Рузский. Он поддержал решение императора Николая II отречься от престола. Во время реконструкции Пскова после Великой Отечественной войны были утрачены остатки построек почтового двора.
После 1960 года была разобрана старая лестница, новую построили в северо-западном углу. В 1962 году ликвидировали мансарду в юго-западном углу крыши. В 1990-х годах произошла перепланировка первого этажа. На его южном фасаде возле сквозного прохода в своё время установили мемориальную доску Владимиру Ленину. Теперь в здании работает управление ФПС Псковской области.
