Token
Un token est une unité de texte traitée par un modèle de langage. Il peut s'agir d'un mot entier, d'une partie de mot ou même d'un caractère, selon le modèle utilisé.
Par exemple, le mot 'chat' peut compter pour un seul token, tandis que 'problématique' pourrait être décomposé en plusieurs tokens dans un modèle comme GPT-4.
Un token est une unité de texte traitée par un modèle de langage. Il peut s'agir d'un mot entier, d'une partie de mot ou même d'un caractère, selon le modèle utilisé.
Par exemple, le mot 'chat' peut compter pour un seul token, tandis que 'problématique' pourrait être décomposé en plusieurs tokens dans un modèle comme GPT-4.
Token et LLM sont deux concepts liés mais distincts dans l'écosystème IA. Pour approfondir : LLM, Context window, Inférence, Latence.
Gardez un coup d'avance en business et IA
Chaque mardi et vendredi, l'essentiel en business & IA décryptées en 5 minutes. Gratuit, sans engagement.
+11 000 fondateurs abonnés