W średniowieczu był w Annecy stołecznym miastem Genewskiego powiatu, a wznoszący się w centrum Annecy zamek był siedzibą genewskich hrabiów. Zamek został zbudowany w XII wieku na miejscu twierdzy, wzniesionej cztery wieki wcześniej. W XIII wieku stał się miejscem zamieszkania członków графской nazwiska, później przeniósł się do książąt Савойским.

W średniowieczu zamek kilka razy уничтожался pożarów, ale za każdym razem go naprawiał, coraz bardziej wzmacniając jego obronę. Jednak bez względu na grubość ścian, groźny wygląd i doskonałą lokalizacją na szczycie wzgórza, w pierwszej połowie XVII wieku zamek został wzięty francuskiej armii. W XVII wieku w zamku mieściły się koszary i magazyn, jeden raz nawet służył jako schronienie dla bezdomnych. Dopiero w połowie XX wieku budynek został nadany status zabytku, a dzisiaj mieści się w nim muzeum, w którym można zobaczyć dzieła sztuki i przedmioty z różnych epok.

Jednym z najsłynniejszych mieszkańców zamku był Robert Genewski - родивший tutaj w 1342 roku syn hrabiego Amadeusza III. Robert Genewski jest również znany pod nazwą антипапы Klemensa VII – dość agresywnego i brutalnego, nazywany rzeźnikiem i katem za swoje metody pracy z rebeliantami. W drugiej połowie XIV wieku w katolickim świecie było dwóch papieży – jeden oficjalnie wybrany Urban VI i drugi, wybrany кардинальской "opozycją" Klemens VII, który miał nadzieję wziąć Rzym siłą i obalić Urbana VI. Spełniła антипапа Klemens osiadł w Awinionie, w którym niegdyś mieścił się papieska rezydencja.

Po śmierci Klemensa VII w 1394 roku w Annecy było połączone z Савойей i straciło status stolicy powiatu, tak i samego Genewskiego powiatu też nie było. Dzięki książąt Савойским zamek zyskał swoją najpiękniejszą wieżę Перрьер.

Dziś zamek jest otoczony przez piękne skwerami i innymi zabytkami. Z jego ścian jest widoczny samo miasto i jezioro Annecy.