BENCHMARK

Benchmark

DEBUTANT +10 XP

Definition

Un benchmark en intelligence artificielle est un ensemble de tests standardisés utilisés pour évaluer et comparer les performances de différents modèles ou algorithmes.

Exemple concret

Par exemple, le benchmark GLUE est souvent utilisé pour évaluer la performance des modèles de compréhension du langage naturel comme GPT-4 ou Llama sur différentes tâches linguistiques.

VOIR L'ACTU : #BENCHMARK

Questions frequentes

Qu'est-ce que Benchmark ? +

Un benchmark en intelligence artificielle est un ensemble de tests standardisés utilisés pour évaluer et comparer les performances de différents modèles ou algorithmes.

Comment Benchmark fonctionne-t-il en pratique ? +

Par exemple, le benchmark GLUE est souvent utilisé pour évaluer la performance des modèles de compréhension du langage naturel comme GPT-4 ou Llama sur différentes tâches linguistiques.

Quelle est la différence entre Benchmark et LLM ? +

Benchmark et LLM sont deux concepts liés mais distincts dans l'écosystème IA. Pour approfondir : LLM, Foundation model.