Microsoft plonge Copilot dans des entreprises synthétiques

Microsoft évalue Copilot avec des environnements d’entreprise synthétiques conçus pour reproduire des activités professionnelles réelles. La plateforme Industry Evaluation Data Generation Platform génère des environnements complets à partir de données publiques issues du monde réel. Microsoft utilise ces environnements pour l’évaluation de Microsoft Copilot. Leur conception cherche à reproduire des flux de travail d’entreprise, plutôt qu’à limiter les tests à des exercices génériques. Cette approche permet d’observer le comportement de Copilot dans des situations organisées autour de métiers et de processus professionnels. Microsoft indique aussi vouloir démontrer l’efficacité de Copilot sans utiliser les données de ses clients. Lire la présentation de Microsoft.

Des données publiques structurent les environnements générés par Microsoft. L’entreprise a utilisé des informations provenant d’O*NET, des annonces d’emploi publiées en ligne et des documents déposés auprès de la SEC. Ces sources servent à ancrer les environnements synthétiques dans des caractéristiques professionnelles et organisationnelles réelles. Les environnements sont conçus pour imiter des flux de travail d’entreprise. Ils doivent ainsi permettre d’identifier des problèmes que des évaluations génériques peuvent ne pas repérer. Microsoft précise également que les environnements synthétiques sont conçus pour être exempts de contenus nuisibles et de données permettant d’identifier des personnes. La plateforme d’évaluation constitue donc le cadre technique de ces tests.

Trois environnements couvrent plusieurs métiers

Trois environnements synthétiques ont été générés pour les évaluations de Microsoft Copilot. Le premier représente une entreprise pharmaceutique. Le deuxième reproduit un environnement de marchés financiers. Le troisième correspond à une entreprise spécialisée dans l’informatique et les logiciels. Ces trois cadres couvrent des activités professionnelles distinctes et des flux de travail différents. Ils donnent à Microsoft des environnements séparés pour examiner le fonctionnement de Copilot selon plusieurs organisations. Chaque environnement repose sur des données publiques utilisées pour construire sa structure. Microsoft associe ainsi les données d’O*NET, les annonces d’emploi en ligne et les documents de la SEC à des scénarios d’entreprise synthétiques.

Les flux de travail ciblent les limites possibles des évaluations génériques. Microsoft conçoit les environnements pour reproduire des activités d’entreprise et identifier des problèmes pouvant échapper à des références plus générales. Cette méthode ne repose pas sur des données clients, selon l’objectif déclaré par Microsoft. Les environnements restent synthétiques et sont conçus pour exclure les contenus nuisibles ainsi que les informations personnelles identifiables. Microsoft relie également cette démarche à des usages dans la santé. Selon l’entreprise, les organisations de santé synthétisent des signaux de sécurité afin de prendre de meilleures décisions influençant les résultats des patients. Cette affirmation est attribuée à Microsoft.

Microsoft relie évaluation et confiance

La plateforme fournit un cadre d’évaluation spécialisé pour Microsoft Copilot. Elle génère des environnements complets fondés sur des données publiques du monde réel. Les trois domaines retenus sont la pharmacie, les marchés financiers et l’informatique logicielle. Les données d’O*NET, les annonces d’emploi et les documents de la SEC contribuent à leur construction. Microsoft présente cette approche comme un moyen d’évaluer Copilot dans des flux de travail d’entreprise plus proches d’organisations réelles. L’entreprise vise aussi une démonstration de l’efficacité de Copilot sans données clients. Les outils de recherche et d’expérimentation associés sont présentés sur Azure AI Labs.