Le château des Comtes et Ducs de Savoie a été l’une des résidences favorites de la cour de Savoie. Aménagé par le comte Pierre II au milieu du XIIIe siècle, c’est une enceinte carrée de 45 m de côté, gardée à chaque angle par une tour ronde. Son accès est défendu par un pont-levis enjambant le ruisseau de Bennevy. Au nord, face au lac, se trouve le corps de logis comtal. Les murs épais de deux mètres et hauts de dix sont prolongés par les remparts de la ville qui descendent jusqu’au rivage, ponctués de tours et percés de quatre portes. Délaissé par les ducs de Savoie à la fin du XIVe siècle, le château est occupé par les Valaisans puis investi par les troupes du roi de France et démantelé en 1591. Trois tours, vestiges des remparts, sont encore visibles au-dessus de la rue Nationale.