Выборгский замок шведы основали в 1293 году, когда участвовали в Третьем крестовом походе на Карельскую землю. Укрепление на Замковом острове получило название «Выборг», в центре была построена квадратная в плане каменная башня. Она была названа в честь крестителя Скандинавии, норвежского короля Олава Святого и стала визитной карточкой города.
Долгое время башня Выборгского замка была самым высоким скандинавским донжоном, толщина её стен составляла 4 метра. Стены замка завершались зубцами, по периметру строители соорудили деревянную навесную галерею. В XIII-XIV веках укрепление выдержало несколько осад вражеских войск.
В 1564 году башню Олава надстроили до семи этажей, её облик тех времён в основном дошёл до наших дней. Предмостное укрепление замка было основательно перестроено на рубеже XVI-XVII веков, предмостные сооружения объединили в дом наместника, который в ту пору был самым надёжным зданием в городе.
В 1710 году Пётр I взял Выборг после двух месяцев бомбардировок и осады. В 1856 году на территории замка устроили такой праздничный фейерверк в честь открытия Сайменского канала, что доотмечались до крупного пожара. После него замок был необитаем свыше 30 лет. В XIX веке в казармах здания открыли тюрьму, где содержались декабристы Анненков, Лунин, Муханов, Митьков.
В 1891-1894 годах по поручению императора Александра III в Выборгском замке была проведена реконструкция, в ходе которой внутренняя планировка помещений претерпели значительные изменения. Полуциркульные и стрельчатые своды заменили балочными перекрытиями, устроили новые оконные проёмы. У входа в башню соорудили гранитное кольцо, внутри установили металлическую лестницу, ведшую на смотровую площадку.
Серьёзных разрушений в годы Великой Отечественной войны в замке не было. Министерство обороны СССР в 1964 году передало крепость для создания в ней музея, который открылся в 1970 году. Открытию музея предшествовали архитектурно-археологические работы Эстонского реставрационного управления.
