Aditya Parameswaran révèle la chute vertigineuse du coût de GPT-4

Le coût baisse rapidement. Les capacités comparables à GPT-4 coûtaient environ 30 dollars par million de tokens au début de 2023. Elles coûtent désormais moins d’un dollar, selon Aditya G. Parameswaran et ses collaborateurs. Certains fournisseurs descendent même sous 0,10 dollar. Les prix d’inférence ont reculé entre neuf et 900 fois par an selon les repères étudiés. La baisse médiane atteint environ 50 fois. Les modèles de pointe deviennent également moins chers à chaque génération. Les modèles à poids ouverts suivent une trajectoire proche. Les auteurs estiment que l’intelligence suffisante pour la plupart des tâches de connaissance est déjà disponible. Elle devient aussi moins chère chaque mois. Lire l’analyse de Berkeley

Trois systèmes se dessinent. La baisse du coût d’inférence crée, selon les auteurs, trois chantiers pour les systèmes de données. Les systèmes « pour les agents » doivent servir leurs requêtes et leurs méthodes de travail spécifiques. Les systèmes « des agents » doivent stocker leur état, coordonner leurs actions et gérer leurs échecs. Les systèmes « par les agents » pourraient être synthétisés pour chaque nouvelle charge de travail. Cette dernière approche pose une question de vérification. Il faut établir que les systèmes générés respectent bien le comportement attendu. Cette perspective est portée par Aditya G. Parameswaran, professeur associé à l’UC Berkeley et codirecteur de l’EPIC Data Lab. Son profil décrit ses travaux en systèmes de données.

Les agents multiplient les requêtes

Les requêtes changent d’échelle. Un agent ne consulte pas une base comme une personne ou un outil de décisionnel. Il explore le schéma, les colonnes, puis formule des requêtes partielles et complètes. Plusieurs agents peuvent parcourir différentes hypothèses pour une même demande. Une seule question utilisateur peut ainsi produire des milliers de requêtes SQL. Une analyse de cause racine, comme la baisse des ventes de café à Berkeley, implique de nombreuses jointures, agrégations et combinaisons de filtres. Une analyse de cohortes suit la même logique. Les auteurs proposent donc des systèmes capables de réutiliser les résultats entre plans proches. Ils évoquent aussi les réponses approximatives et la diffusion progressive des résultats.

La redondance reste utile. Sur un test de conversion texte vers SQL mobilisant plusieurs agents, seuls 10 à 20 % des sous-plans sont distincts. Entre 80 et 90 % des sous-requêtes répètent donc un travail déjà effectué. Pourtant, les expériences montrent que le taux de réussite augmente lorsque les agents multiplient leurs tentatives. La redondance aide donc la résolution, même si elle consomme des ressources du système de données. Les auteurs suggèrent des interfaces plus adaptées. Un agent pourrait envoyer un lot de requêtes, avec des exigences d’approximation propres à chacune. Des primitives de niveau supérieur, inspirées des macros Jinja de dbt, pourraient aussi éviter l’énumération manuelle d’un espace de recherche exponentiel.

Les essaims structurent leur mémoire

La mémoire doit évoluer. Les agents utilisent actuellement des fichiers, des scripts bash et des documents Markdown pour conserver leurs apprentissages. Ces supports restent importants, mais leur usage atteint des limites lorsque les agents réalisent une grande partie du travail de connaissance. Les fenêtres de contexte limitées rendent difficile l’insertion de fragments pertinents issus de nombreux fichiers. Agrandir ces fenêtres ne supprime pas les contraintes de latence. La sérialisation de bases de données ou de grandes bases de code devient également impraticable. Les graphes de connaissances rencontrent une difficulté comparable lorsqu’ils ne proposent pas une recherche structurée. Les auteurs défendent donc une mémoire filtrée par plusieurs attributs.

Les agents doivent coopérer. Une mémoire structurée pourrait filtrer un souvenir par module, langage, cadre logiciel et mode d’échec. Pour un agent de données, les dimensions pourraient inclure les tables, les colonnes, le type d’opération et une instruction corrective en langage naturel. Un exemple recommande d’utiliser l’année fiscale plutôt que l’année civile pour certaines opérations sur les dates. Un autre privilégie la colonne « product_cleaned » pour interroger les noms de produits. Les traces brutes contenant des erreurs seraient moins utiles que des souvenirs correctifs. Les auteurs relient cette organisation à la gestion de grands volumes de traces et à des mécanismes d’amélioration récursive. Ils signalent aussi les difficultés liées aux modifications concurrentes de la mémoire partagée.

La coordination reste ouverte. Des milliers d’agents peuvent modifier un état commun, tester des transactions et annuler la plupart des résultats. Les mécanismes de versionnage multiple, de copie lors de l’écriture, d’exécution exactement une fois, de CRDT et de transformation opérationnelle sont cités comme pistes pertinentes. Les agents doivent également éviter le « livelock », lorsque des actions compensatoires incessantes empêchent tout progrès. La gestion des agents défaillants, des agents retardataires et des communications entre agents pose d’autres problèmes. Temporal fait partie des solutions développées pour l’exécution durable multi-agent. Les auteurs questionnent toutefois son application à grande échelle. Ils envisagent enfin des mécanismes de négociation pour aider plusieurs agents à converger vers un schéma partagé. Pour aller plus loin, consultez notre guide sur réduire ses coûts grâce à l’IA.