Model Parameters
Les paramètres d'un modèle sont les valeurs numériques (poids) que le modèle apprend pendant l'entraînement. Leur nombre définit généralement la 'taille' du modèle et influe directement sur ses capacités de mémorisation et de raisonnement.
GPT-4 compterait environ 1 800 milliards de paramètres selon les estimations, contre 7 milliards pour Llama 3.1 8B, un modèle accessible sur un ordinateur portable haut de gamme pour 0 euro de coût d'API.
Les paramètres d'un modèle sont les valeurs numériques (poids) que le modèle apprend pendant l'entraînement. Leur nombre définit généralement la 'taille' du modèle et influe directement sur ses capacités de mémorisation et de raisonnement.
GPT-4 compterait environ 1 800 milliards de paramètres selon les estimations, contre 7 milliards pour Llama 3.1 8B, un modèle accessible sur un ordinateur portable haut de gamme pour 0 euro de coût d'API.
Paramètres et LLM sont deux concepts liés mais distincts dans l'écosystème IA. Pour approfondir : LLM, Entraînement, Quantization, Lois d'échelle.
Gardez un coup d'avance en business et IA
Chaque mardi et vendredi, l'essentiel en business & IA décryptées en 5 minutes. Gratuit, sans engagement.
+11 000 fondateurs abonnés