Scaling Laws
Les lois d'échelle décrivent la relation prédictible entre la taille d'un modèle, la quantité de données d'entraînement, le budget de calcul et les performances obtenues. Elles ont guidé la course aux LLMs des années 2020 et révèlent que performance et taille suivent des courbes mathématiques régulières.
Les travaux de Chinchilla de DeepMind ont montré que pour optimiser les performances, il faut autant augmenter les données que les paramètres, remettant en cause la stratégie de GPT-3 qui privilégiait les paramètres.
Les lois d'échelle décrivent la relation prédictible entre la taille d'un modèle, la quantité de données d'entraînement, le budget de calcul et les performances obtenues. Elles ont guidé la course aux LLMs des années 2020 et révèlent que performance et taille suivent des courbes mathématiques régulières.
Les travaux de Chinchilla de DeepMind ont montré que pour optimiser les performances, il faut autant augmenter les données que les paramètres, remettant en cause la stratégie de GPT-3 qui privilégiait les paramètres.
Lois d'échelle et LLM sont deux concepts liés mais distincts dans l'écosystème IA. Pour approfondir : LLM, Paramètres, Entraînement, Capacités émergentes.
Gardez un coup d'avance en business et IA
Chaque mardi et vendredi, l'essentiel en business & IA décryptées en 5 minutes. Gratuit, sans engagement.
+11 000 fondateurs abonnés