Token
Un token est une unité de texte traitée par un modèle de langage. Il peut s'agir d'un mot entier, d'une partie de mot ou même d'un caractère, selon le modèle utilisé.
Par exemple, le mot 'chat' peut compter pour un seul token, tandis que 'problématique' pourrait être décomposé en plusieurs tokens dans un modèle comme GPT-4.
Un token est une unité de texte traitée par un modèle de langage. Il peut s'agir d'un mot entier, d'une partie de mot ou même d'un caractère, selon le modèle utilisé.
Par exemple, le mot 'chat' peut compter pour un seul token, tandis que 'problématique' pourrait être décomposé en plusieurs tokens dans un modèle comme GPT-4.
Token et LLM sont deux concepts liés mais distincts dans l'écosystème IA. Pour approfondir : LLM, Context window, Inférence, Latence.
On utilise des cookies de mesure d'audience (Google Analytics, Meta, PostHog) pour comprendre ce qui t'intéresse et améliorer le site. Tu décides. En savoir plus