В 1879 году серьёзный пожар уничтожил в Иркутске музей Восточно-Сибирского отдела Императорского Русского географического общества. Для восстановления здания был объявлен сбор средств. Автором проекта постройки в мавританском стиле стал архитектор Генрих Розен.
В сентябре 1882 года был освящён первый камень в основании будущего музея. Строительные работы продлились немногим более года — здание было освящено в ноябре 1883 года. В 1890-1891 годах для выставочных площадей была добавлена пристройка. На фризе высечены имена 18 учёных, изучавших Сибирь, и адмирала Александра Колчака. Последний в 1903 и 1904 годах выступал здесь с научными докладами. Другими знаменитостями, посещавшими музей, были писатель Антон Чехов и цесаревич Николай Александрович (будущий император Николай II).
В 1910 году в башне музея состоялось открытие астрономической обсерватории. Во время декабрьских боёв в ходе революции 1917 года постройка получила незначительные повреждения. В 1920 году Общество было национализировано, и в этом здании расположился отдел истории Иркутского областного краеведческого музея. Учреждение отсчитывает свою историю с 1782 года. Отдел истории с сентября по май работает с 10:00 до 18:00 (кроме понедельника), в остальное время — до 19:00 без выходных.
