Sowohl Canet als auch sein Schloss wurden erstmalig Anfang des zweiten Jahrtausends (11. Jh.) erwähnt. Die erste Erwähnung der sich innerhalb des mittelalterlichen Schlosses befindlichen Kirche Saint-Martin geht auf das Jahr 1075 zurück.

Das gesamte Festungsgelände betrug 3.500 m².

Das Festungsinnere besteht zur einen Hälfte aus diversen Schlossgebäuden und zur anderen Hälfte aus einer Art leerem Vorplatz, an dessen Stelle sich bis in das 13. Jh. ein Friedhof befand. Das Eingangstor zur Festungsanlage öffnet sich Richtung Süden zum Dorf hin. Auf dem Platz stehend blickt man auf eine befestigte Kapelle, die mit ihrer eindrucksvollen Größe den eigentlichen Zugang zum Schloss zwischen Kirchenschiff und einem großen Gebäude, dessen ursprüngliche Funktion unklar ist, beschützt.

Die im Westen befindliche Anhöhe diente als Erdhügelburg zur Errichtung eines modernen Wasserspeichers. Stadtseitig befindet sich ein großer Rundturm aus dem 13. Jh., der ursprünglich als Zisterne angelegt wurde. Der im Norden, im Schatten der Kapelle 1688 errichtete Eisbrunnen ist heute noch perfekt erhalten.