Pre-training
Le pré-entraînement est la phase initiale d'entraînement d'un LLM sur d'immenses corpus de texte généraliste, lui permettant d'acquérir une connaissance générale du langage et du monde. Il précède le fine-tuning sur des tâches ou domaines spécifiques.
GPT-4 a été pré-entraîné sur plusieurs téraoctets de texte issu du web, de livres et d'articles scientifiques avant d'être fine-tuné pour suivre des instructions, un processus estimé à plus de 100 millions de dollars.
Le pré-entraînement est la phase initiale d'entraînement d'un LLM sur d'immenses corpus de texte généraliste, lui permettant d'acquérir une connaissance générale du langage et du monde. Il précède le fine-tuning sur des tâches ou domaines spécifiques.
GPT-4 a été pré-entraîné sur plusieurs téraoctets de texte issu du web, de livres et d'articles scientifiques avant d'être fine-tuné pour suivre des instructions, un processus estimé à plus de 100 millions de dollars.
Pré-entraînement et Entraînement sont deux concepts liés mais distincts dans l'écosystème IA. Pour approfondir : Entraînement, Fine-tuning, Foundation model, Lois d'échelle.
Gardez un coup d'avance en business et IA
Chaque mardi et vendredi, l'essentiel en business & IA décryptées en 5 minutes. Gratuit, sans engagement.
+11 000 fondateurs abonnés