Construit par Louis d' Anjony, compagnon de Jeanne d'Arc ayant reçu du roi Charles VII mission de protéger les alentours, le donjon d'Anjony est toujours là, intact et fier, exemple très caractéristique des petites forteresses de montagne du XVè s.
Son histoire fut tumultueuse aux XVe et XVIe siècles, car une véritable vendetta opposa la famille d'Anjony à celle de Tournemire, trop proches voisins et rivaux. Au XVIIIe siècle, on ajouta à l'austère construction médiévale un corps de logis plus accueillant et plus conforme aux goûts de l'époque.