Emergent Capabilities
Les capacités émergentes sont des aptitudes imprévues qui apparaissent spontanément dans les grands modèles de langage au-delà d'un certain seuil de taille. Elles ne sont pas explicitement entraînées mais émergent de l'échelle du modèle.
GPT-3 a soudainement acquis la capacité de résoudre des problèmes d'arithmétique en passant à 175 milliards de paramètres, alors que les versions plus petites échouaient complètement sur les mêmes exercices.
Les capacités émergentes sont des aptitudes imprévues qui apparaissent spontanément dans les grands modèles de langage au-delà d'un certain seuil de taille. Elles ne sont pas explicitement entraînées mais émergent de l'échelle du modèle.
GPT-3 a soudainement acquis la capacité de résoudre des problèmes d'arithmétique en passant à 175 milliards de paramètres, alors que les versions plus petites échouaient complètement sur les mêmes exercices.
Capacités émergentes et Lois d'échelle sont deux concepts liés mais distincts dans l'écosystème IA. Pour approfondir : Lois d'échelle, LLM, Paramètres, Foundation model.
Gardez un coup d'avance en business et IA
Chaque mardi et vendredi, l'essentiel en business & IA décryptées en 5 minutes. Gratuit, sans engagement.
+11 000 fondateurs abonnés