Le château, était considéré comme poste frontière entre la France et l'Angleterre, et a subi des assauts pendant les Guerres de Religion mais aussi pendant la Guerre de Cent ans. L'épopée la plus célèbre est celle de l'héroïque Madeleine de Saint-Nectaire qui en 1575 a défendu Miremont. Le futur Henri IV, au rapport de ses faits dit d'elle : " Ventre saint-Gris si je n'étois le Roi je voudrois être Magdeleine de Saint-Nectaire! ". Le château s'est éteint au 18ème siècle et a été en partie démantelé.