En résumé
Jack Clark avance à 2027 la possibilité d’une amélioration récursive de l’IA.
TasteVal mesure la conception et l’interprétation d’expériences sur huit tâches.
Opus 5.5 atteint un multiplicateur de calcul de 2,3 face aux experts humains.
Le signal : Anthropic Opus 5.5 atteint un multiplicateur de calcul de 2,3 face à 24 experts humains.
Vous appréciez ce genre d'analyse ?
Chaque mardi et vendredi, l'essentiel en business & IA décryptées en 5 minutes. Gratuit, sans engagement.
+11 000 fondateurs abonnés
Jack Clark avance son estimation de l’amélioration récursive de l’IA à 2027. Le cofondateur d’Anthropic évaluait auparavant cette possibilité à 2028. Il fonde ce déplacement sur les résultats de TasteVal, un nouveau benchmark consacré à la recherche expérimentale menée par des systèmes d’IA. Selon Jack Clark, la capacité mesurée a environ doublé tous les trois mois depuis décembre 2025. P-Zero Research appelle cette aptitude le « research taste ». Elle désigne la capacité à sélectionner des expériences pertinentes et à interpréter correctement leurs résultats. Le meilleur modèle testé a dépassé un groupe de 24 experts humains, avec un coût inférieur. Lire l’analyse complète.
TasteVal fixe huit objectifs dans le développement de modèles d’IA. Les tâches couvrent la sélection de données d’entraînement, le préentraînement, l’ajustement de modèles, l’entraînement fondé sur les préférences humaines et la défense contre les invites adverses. Chaque objectif fournit au modèle une cible de recherche déjà définie, ainsi qu’un score mesurable. Le système choisit ensuite l’expérience à mener et utilise ses résultats pour décider de l’étape suivante. Un agent de programmation identique exécute toutes les expériences sur un seul processeur Nvidia H100. Chaque évaluation s’arrête après 40 heures de calcul graphique ou 120 heures au maximum.
Le benchmark compare les modèles à 24 experts ayant récemment travaillé chez OpenAI, Google DeepMind, Nvidia ou Microsoft Research. Au moins deux experts ont traité chaque tâche. La meilleure tentative humaine par tâche sert de référence. TasteVal ne mesure toutefois que deux capacités sur les trois définies par P-Zero Research. Il évalue la conception des expériences et l’interprétation des résultats. Il ne demande pas au modèle de choisir la direction de recherche la plus prometteuse. Cette décision est fixée avant chaque tâche. P-Zero Research considère pourtant ce choix comme une composante centrale de l’intuition scientifique. Le benchmark couvre donc une partie précise du travail de recherche.
Opus 5.5 atteint un multiplicateur de calcul de 2,3 selon P-Zero Research. Le modèle d’Anthropic obtient ainsi des scores comparables à ceux des experts avec moins de la moitié de leur calcul. La plage statistique publiée va cependant de 1,15 à 4,37. Une exécution coûte environ un trentième d’une tentative d’expert, en moyenne. Sur plusieurs générations de modèles, le multiplicateur a environ doublé tous les trois mois depuis décembre 2025. P-Zero Research estime aussi que la durée de doublement se situe entre 1,7 et 5,0 mois. Les tâches restent rapides et peu coûteuses à vérifier, ce qui peut favoriser leur optimisation par les laboratoires.
Jack Clark estimait en mai à 60 % la probabilité qu’un système entraîne seul un successeur plus puissant d’ici fin 2028. Il évaluait alors cette probabilité à 30 % pour 2027. Son estimation actuelle s’appuie également sur des progrès en mathématiques et sur TasteVal. Cette prévision vient d’un cofondateur de l’entreprise dont le modèle domine le benchmark. Herbie Bradley avait contesté son analyse précédente. Il jugeait plausible une prise en charge du travail de chercheurs débutants, mais pas encore la maîtrise de l’intuition scientifique, de la créativité et de la planification longue. TasteVal contredit partiellement cette évaluation pour la conception et l’analyse d’expériences.
Une étude de Fudan apporte un autre repère sur l’autonomie des agents dans le développement de modèles. Les chercheurs ont analysé la conception de leur propre modèle. Les agents d’IA ont fourni jusqu’à 55 % des propositions méthodologiques. Les humains ont toutefois conservé plus de 85 % des décisions finales. Les auteurs indiquent que la génération de directions de recherche diversifiées reste distincte de leur évaluation avant l’obtention des résultats. Cette distinction correspond à la limite centrale de TasteVal, qui fixe déjà l’objectif de recherche. Anthropic a écrit en juin que l’amélioration récursive n’était pas encore réalisée, mais qu’elle pourrait survenir plus tôt que prévu. OpenAI demande aussi une supervision humaine.
Le débat porte désormais sur la capacité des modèles à décider quelles expériences font progresser une recherche. Les précédents benchmarks privilégiaient des tâches définies, comme les mathématiques ou le code. TasteVal examine plutôt la sélection d’expériences et la lecture de leurs résultats. Anthropic appelle à un ralentissement contrôlé du développement de l’IA, tandis qu’OpenAI estime que l’amélioration récursive entièrement autonome n’est pas encore atteinte. OpenAI ajoute qu’elle ne devrait être poursuivie qu’avec une supervision humaine garantie. Les résultats de P-Zero Research pourraient accélérer la recherche si cette tendance se confirme dans d’autres évaluations. Ils pourraient aussi rendre une partie croissante du travail plus difficile à vérifier par les humains. Voir les tâches de TasteVal et le débat sur l’amélioration récursive.
Gardez un coup d'avance en IA et tech.
Chaque mardi et vendredi, l'essentiel en business & IA décryptées en 5 minutes. Zéro spam.
+11 000 fondateurs abonnés