En la Edad Media fue la capital de Annecy, el condado de Ginebra, y se encuentra en el centro de Annecy, el castillo fue la sede de los condes de Ginebra. El castillo fue construido en el siglo XII en el sitio de la fortaleza, construida cuatro siglos antes. En el siglo XIII se convirtió en la residencia de los miembros de la familia del conde, más tarde se trasladó al duque de Saboya.

En la Edad Media el castillo varias veces destruidos por los incendios, pero cada vez se redujo, cada vez más el fortalecimiento de su defensa. Sin embargo, a pesar del espesor de las paredes, mirada amenazante y una ubicación privilegiada en la cima de una colina, en la primera mitad del siglo XVII, el castillo fue tomado por el ejército francés. En el siglo XVII, el castillo alberga el cuartel y almacén, una vez que incluso sirvieron de refugio a las personas sin hogar. Sólo a mediados del siglo XX, el edificio fue declarado monumento histórico, y ahora se encuentra un museo donde se pueden ver obras de arte y objetos de diferentes épocas.

Uno de los famosos habitantes del castillo era Roberto de Ginebra - engendra aquí en 1342, el hijo del conde Amadeo III. Roberto de Ginebra es también conocido por el nombre de antipapa Clemente VII - muy militante y crueles, apodado el carnicero y verdugo de sus métodos de tratar con los rebeldes. En la segunda mitad del siglo XIV en el mundo católico tenía dos papás - uno electo oficialmente Urbano VI y "oposición" del segundo cardenal electo Clemente VII, quien tenía la esperanza de tomar el poder y derrocar Roma Urbano VI. Habiendo fracasado, antipapa Clemente estableció en Aviñón, que una vez albergó la residencia papal.

Después de la muerte de Clemente VII en 1394 se fusionó con Annecy y Saboya perdió su condición de capital de la provincia, y el condado de Ginebra, también, se había ido. Debido al duque de Saboya Castillo obtuvo su más bella torre perrer.

Hoy en día el castillo está rodeado por hermosos jardines públicos y otros lugares de interés histórico. Con sus muros vistos de la ciudad y el lago de Annecy.