Wyborg zamek został założony w roku 1293 szwedzkim krucjacie Торгильсом Кнутсоном, po wielokrotnie przebudowywany, ale w ogóle prawie się nie zmienił swój wygląd. Zamek znajduje się na wyspie, do której można dojść pieszo z mostu przez zatokę jest zejście bezpośrednio do zamkowych bram. Na placu zamek jest mały i nie ma ścian — zamiast nich na całym obwodzie zamku wzniesione potężne mieszkalne i budynki gospodarcze z narożnymi wieżami, złożone z głazów.

Wewnątrz zamku znajdują się trzy małe podwórka (Dolny, Górny i Kuźnia) i wąska, zakrzywiona, utwardzona kamieniem, podnoszona do góry uliczka. Dolna część zamku, cały zbudowany z ciemnych kamieni, i nad wszystkimi budowlami wysoko wznosi się wielka biała wieża biskupa Olafa, prawdziwy symbol Miasta — wieżę widać z każdego punktu miasta.

Wieża Olafa, z ogromnym кубовидным podstawą i łbem górną częścią, został zbudowany w XIII wieku, kilka razy надстраивалась i miała wysokość ponad 80 m, ale po pożarze w XVIII wieku został mocno przebudowany, i teraz jej wysokość to zaledwie 45 metrów. Na wieżę można wejść i podziwiać panoramę starego Miasta i zatoki z niekończących się zalesionymi шхерами.

U podnóża wieży znajduje się mały Kuźnia dziedziniec, z którego można dostać się do muzeum, i w historyczno-реконструкторский centrum, gdzie można założyć na siebie zbroje, wziąć do ręki włócznię lub miecz i tarczę, i zrobić zdjęcie — za niewielkie pieniądze.