CONSTITUTIONAL AI

Constitutional AI est une technique développée par Anthropic pour aligner les modèles IA sur des principes éthiques explicites formant une 'constitution'. Le modèle apprend à critiquer et réviser ses propres réponses pour respecter ces principes, réduisant les comportements nuisibles.

Claude d'Anthropic utilise Constitutional AI pour éviter de générer du contenu nuisible, en s'appuyant sur une liste de principes comme 'ne pas aider à créer des armes' ou 'protéger la vie privée des individus'.

Constitutional AI et Alignement IA sont deux concepts liés mais distincts dans l'écosystème IA. Pour approfondir : Alignement IA, RLHF, Guardrails, Sûreté de l'IA.