Latency (TTFT)
La latence en intelligence artificielle désigne le délai entre l'entrée d'une requête et la réponse du système. Cela inclut le temps de traitement et de transmission des données, qui peut être critique pour des applications en temps réel.
Par exemple, un assistant vocal comme Alexa ou Google Assistant doit avoir une latence suffisamment faible pour répondre aux commandes vocales en quelques millisecondes.
La latence en intelligence artificielle désigne le délai entre l'entrée d'une requête et la réponse du système. Cela inclut le temps de traitement et de transmission des données, qui peut être critique pour des applications en temps réel.
Par exemple, un assistant vocal comme Alexa ou Google Assistant doit avoir une latence suffisamment faible pour répondre aux commandes vocales en quelques millisecondes.
Latence et Inférence sont deux concepts liés mais distincts dans l'écosystème IA. Pour approfondir : Inférence, Token, API.
Gardez un coup d'avance en business et IA
Chaque mardi et vendredi, l'essentiel en business & IA décryptées en 5 minutes. Gratuit, sans engagement.
+11 000 fondateurs abonnés