De geschiedenis van het kasteel begint al heel lang geleden, in de twaalfde eeuw na Christus om precies te zijn. Château de Castelnau-Bretenoux ontstond doordat Hugues de Castelnau, gezinslid van de zeer machtige familie Castelnau een verdedigingsmuur om zijn domein lied bouwen voor de Middeleeuwse oorlog. Tussen de twaalfde en vijftiende eeuw werd het kasteel meerdere malen verbouwd. Zo werden onder andere de verdedigingsmuren versterkt en kwam Château de Castelnau-Bretenoux langzaam tot leven, zoals we het nu kennen. Tijdens de honderdjarige oorlog tussen Frankrijk en Engeland werd het kasteel in het jaar 1159 veroverd door de troepen van de Engelse Henry II. Aan het einde van die oorlog werd het kasteel weer teruggegeven aan de baronnen van Castelnau. Na de dood van de laatste baron werd er niks meer met het kasteel gedaan en raakte het in verval, totdat Jean Mouliérat het kasteel kocht en liet herstellen. Na zijn dood werd het kasteel over gedragen aan de Franse staat. Een bezoekje aan het kasteel is zeker de moeite waard. Je doet een paar stappen terug in de tijd, want alles is zo ingericht dat je weer terug bent in de Middeleeuwen.