GitHub compare les agents IA qui traquent les bugs

GitHub lance ReviewBench. Le groupe propose un banc d’essai destiné à mesurer la capacité des agents IA à repérer des problèmes avant la publication d’un logiciel. Disponible en aperçu de recherche sur son site, l’outil permet de comparer plusieurs agents et d’évaluer un système développé par une équipe. ReviewBench examine les erreurs détectées et les alertes injustifiées. Les utilisateurs peuvent consulter les données de test, reproduire les résultats et suivre les améliorations. Son classement détaille les performances selon la gravité, la catégorie et la préférence de notation. GitHub utilise aussi ce dispositif pour évaluer les évolutions de Copilot code review avant des essais auprès d’utilisateurs.

Un corpus de 219 demandes. ReviewBench soumet chaque agent aux mêmes 219 demandes de fusion, issues de 187 dépôts publics distribués sous des licences de code ouvert. Le corpus couvre 19 langages de programmation. Il mesure le nombre de problèmes connus détectés, la validité des résultats et les variations selon la gravité ou la catégorie. Les problèmes de sécurité figurent parmi les catégories évaluées. GitHub pondère la taille des demandes vers les changements intermédiaires et importants. Cette méthode réduit la représentation des modifications minuscules limitées à un fichier. Elle conserve davantage de demandes concernant plusieurs fichiers, là où la qualité de revue est évaluée.

ReviewBench compare six métriques

Un référentiel validé. GitHub a constitué un ensemble de référence appelé « golden set » en trois étapes. L’équipe a d’abord recueilli des résultats de réviseurs humains, de modifications ultérieures du code, d’outils d’analyse et de modèles IA. Elle a ensuite regroupé les résultats décrivant un même problème. Enfin, elle les a évalués avec une grille commune. ReviewBench rapporte six métriques réparties en deux groupes. La précision mesure la part des résultats correspondant à des problèmes connus. Le rappel mesure la proportion de problèmes connus détectés. Le score F1 accorde le même poids aux deux indicateurs.

Des métriques augmentées. Les métriques augmentées prennent aussi en compte les résultats absents du référentiel de référence. Un évaluateur IA détermine si ces problèmes supplémentaires sont valides. Les agents peuvent ainsi obtenir du crédit pour des défauts non présents dans le « golden set ». GitHub utilise le rappel fondé sur le référentiel pour comparer les systèmes. Les métriques augmentées servent à évaluer chaque système individuellement. Les utilisateurs peuvent filtrer les résultats par gravité et catégorie. Ils peuvent aussi modifier β dans le score Fβ. Ce réglage donne davantage de poids à la détection des problèmes ou à la réduction des fausses alertes.

Copilot améliore ses résultats

Copilot testé par GitHub. Dans une expérience portant sur le niveau lite de Copilot code review, GitHub a combiné plusieurs exécutions indépendantes de modèles dans une seule revue. L’entreprise a rapporté une progression des scores ReviewBench et des résultats en production. Lors du test de production, la part des commentaires jugés par un modèle IA comme ayant entraîné une modification du code a progressé de 8 %. Le rappel a augmenté de 13,6 %. Le coût par revue a diminué de 8 %. Ces évolutions sont mesurées par rapport au contrôle de production. GitHub indique également que les retours se sont déplacés vers les problèmes critiques et modérés.