Latency (TTFT)
La latence en intelligence artificielle désigne le délai entre l'entrée d'une requête et la réponse du système. Cela inclut le temps de traitement et de transmission des données, qui peut être critique pour des applications en temps réel.
Par exemple, un assistant vocal comme Alexa ou Google Assistant doit avoir une latence suffisamment faible pour répondre aux commandes vocales en quelques millisecondes.
La latence en intelligence artificielle désigne le délai entre l'entrée d'une requête et la réponse du système. Cela inclut le temps de traitement et de transmission des données, qui peut être critique pour des applications en temps réel.
Par exemple, un assistant vocal comme Alexa ou Google Assistant doit avoir une latence suffisamment faible pour répondre aux commandes vocales en quelques millisecondes.
Latence et Inférence sont deux concepts liés mais distincts dans l'écosystème IA. Pour approfondir : Inférence, Token, API.
On utilise des cookies de mesure d'audience (Google Analytics, Meta, PostHog) pour comprendre ce qui t'intéresse et améliorer le site. Tu décides. En savoir plus