Zamek Kastelholm po raz pierwszy wspomina się w kronikach w 1388 r. jako "Dom Kastelholm". Dokładna data powstania zamku, jednak nie jest znana. Od końca XV wieku zamek był ośrodkiem administracyjnym archipelagu i grał ważną strategiczną rolę, a także był zamkiem myśliwskim szwedzkiej królowej.

W obecnej formie zamek stanowi skomplikowany kompleks architektoniczny, строившийся i расширявшийся w okresie od końca XIV do połowy XVII w. W 1745 roku w zamku doszło niszczycielski pożar. Tylko w XX wieku odnowiono i otwarto do zwiedzania.

Obok zamku są otwarte dwa muzea. Jeden – Muzeum Państwowego więzienia Vita-Björn, znajdujący się w zabytkowym budynku więzienia. Втоой – Muzeum pod otwartym niebem Jana Карлсгордена, gdzie można obejrzeć ponad dwadzieścia tradycyjnych Alandzkich domów i młynów XIX wieku. W zabytkowej karczmie gości częstują narodowe potrawy.