Grok 4.7 prend la tête, sans dépasser 60 % sur Contractbench

Grok 4.7 prend la tête, sans dépasser 60 % sur Contractbench

Par Arthur Dekeyser

En résumé

1

Grok 4.7 obtient le meilleur score pondéré du benchmark Contractbench avec 58,3 %.

2

Kimi K3 termine ses tâches 13 % plus vite que Grok et coûte 38 % moins cher par exécution.

3

Harvey connecte désormais les capacités d’enquête factuelle de Mary à sa plateforme juridique.

💡

Le signal : Grok 4.7 atteint 58,3 % de réussite pondérée sur 350 tâches de revue contractuelle évaluées par Ivo et micro1.

NEWSLETTER BUSINESS & IA

Vous appréciez ce genre d'analyse ?

Chaque mardi et vendredi, l'essentiel en business & IA décryptées en 5 minutes. Gratuit, sans engagement.

+11 000 fondateurs abonnés

Grok 4.7 arrive en tête du nouveau benchmark Contractbench d’Ivo et micro1, consacré à la revue de contrats. Les deux équipes ont testé sept modèles sur 350 tâches issues de situations contractuelles réelles. Le benchmark mesurait la capacité à hiérarchiser les problèmes importants, proposer des modifications adaptées et reconnaître les décisions nécessitant une intervention humaine. Grok 4.7 obtient un taux de réussite pondéré de 58,3 % selon les critères définis par des avocats. Opus 5.5 suit à 58,1 %, tandis que Kimi K3 atteint 57,1 %. Les sept modèles restent sous 60 % sur cette grille d’évaluation. Voir le benchmark Contractbench d’Ivo.

Les écarts ne se limitent pas au score de revue. Grok affiche un taux de réalisation de 99,5 %, contre 80,8 % pour Opus et 100 % pour Kimi. Kimi coûte 38 % moins cher par exécution terminée que Grok. Il termine aussi les tâches 13 % plus vite. Ivo indique que les travaux juridiques complexes nécessitent un contexte précis, notamment des données de référence, des recueils de règles et des précédents adaptés au dossier. L’évaluation souligne également l’importance d’une supervision capable de corriger les premières sorties. Ces résultats placent Grok devant deux modèles proches sur la grille pondérée, mais pas sur tous les critères opérationnels.

Grok domine le benchmark contractuel avec 58,3 % de réussite pondérée

Saga External permet aux équipes de créer des services juridiques à partir de leurs propres méthodes. La plateforme juridique basée à Amsterdam cite notamment un vérificateur de contrats construit sur le manuel d’un cabinet et une revue de conformité. Saga présente ces services comme directement accessibles aux personnes accompagnées par les équipes juridiques. De son côté, Aloi a recruté Ertan Bera comme responsable de l’IA appliquée et Erik Lindberg comme directeur commercial. Aloi développe une couche de jugement pour les cabinets en exploitant les dossiers passés et le travail réalisé pendant ces dossiers. En savoir plus sur Saga. Ces services couvrent donc à la fois la vérification contractuelle et la revue de conformité.

Checkbox Matter History conserve l’historique des changements intervenus sur un dossier juridique, ainsi que l’identité de l’auteur du changement, humain ou agent d’IA. L’outil est utilisé par SAP, PepsiCo et BILL. Checkbox ajoute aussi le suivi des tâches et événements, la modification groupée de plusieurs dossiers et les enveloppes DocuSign multi-documents. Lawfecta développe pour sa part un système d’exploitation assisté par IA destiné à organiser les flux de travail des avocats, préparer les tâches à déléguer et mettre en relation les professionnels chargés de les exécuter. Ces annonces couvrent le suivi, la délégation et la gestion documentaire, avec une traçabilité des changements attribués aux humains comme aux agents d’IA.

Harvey connecte Mary aux dossiers grâce à l’enquête factuelle

Harvey et Mary ont annoncé une intégration reliant les capacités d’enquête factuelle spécialisée de Mary à la plateforme juridique de Harvey. Mary lit et cartographie les documents téléversés d’un dossier avant la première question. Elle conserve ensuite les résultats et la revue de l’équipe pendant l’évolution du dossier. Le connecteur permet aux avocats d’interroger un sujet en utilisant les éléments de preuve et le travail déjà effectué par leur équipe. Harvey a également déployé plusieurs liens avec d’autres entreprises juridiques grâce à sa bibliothèque de connecteurs. Littler, présenté comme le plus grand cabinet mondial en droit du travail, a par ailleurs annoncé des partenariats stratégiques avec Legora et Epiq. L’intégration intervient donc dès l’analyse initiale des documents, avant les premières questions de l’avocat.

Les prochains rendez-vous portent sur les agents et la gestion des contrats. Harvey organisera le 2 novembre à 11 h ET un webinaire consacré au choix, à la construction et au déploiement des agents juridiques, avec Ryan Samii, Richard Tromans, Tania Djerrahian et Andrei Salajan. Spellbook présentera le 29 octobre à 12 h ET une démonstration publique de sa capacité de gestion autonome des contrats, avec son directeur général Scott Stevenson. Artificial Lawyer indique aussi une reprise de ses publications le 29 octobre, après une pause éditoriale liée à ClioCon à Boston. Legal Innovators UK est prévu les 4 et 5 novembre, puis Legal Innovators New York les 17 et 18 novembre.

Gardez un coup d'avance en IA et tech.

Chaque mardi et vendredi, l'essentiel en business & IA décryptées en 5 minutes. Zéro spam.

+11 000 fondateurs abonnés

À lire aussi