Tokenizer
Le tokenizer est le composant qui découpe le texte en tokens avant qu'il soit traité par un LLM. La façon dont il segmente les mots influence les performances du modèle et le coût de chaque requête selon les langues.
Le tokenizer de GPT-4 découpe 'tokenization' en 3 tokens mais traite le français moins efficacement que l'anglais : le même nombre de mots français coûte 20 à 30% de tokens en plus, augmentant directement les coûts d'API.
Le tokenizer est le composant qui découpe le texte en tokens avant qu'il soit traité par un LLM. La façon dont il segmente les mots influence les performances du modèle et le coût de chaque requête selon les langues.
Le tokenizer de GPT-4 découpe 'tokenization' en 3 tokens mais traite le français moins efficacement que l'anglais : le même nombre de mots français coûte 20 à 30% de tokens en plus, augmentant directement les coûts d'API.
Tokenizer et Token sont deux concepts liés mais distincts dans l'écosystème IA. Pour approfondir : Token, LLM, Context window, Inférence.
Gardez un coup d'avance en business et IA
Chaque mardi et vendredi, l'essentiel en business & IA décryptées en 5 minutes. Gratuit, sans engagement.
+11 000 fondateurs abonnés