L’AISI mesure le rattrapage des modèles ouverts

L’AISI mesure un rapprochement entre modèles ouverts et modèles propriétaires dans plusieurs capacités de cybersécurité. L’institut britannique a comparé des modèles récents à l’aide de 70 évaluations ciblées. GLM-5.2 se situe près de Claude Opus 4.6, lancé 4,3 mois plus tôt. DeepSeek-V4-Pro se place entre Claude Opus 4.5 et GPT-5. Ces résultats réduisent l’écart observé auparavant. L’AISI mesurait généralement un retard de six à dix mois pendant la majeure partie de 2025. L’écart actuel se situe plutôt entre quatre et sept mois. L’institut prévoit aussi de tester Kimi K3 lorsque ses poids seront rendus publics. Ces mesures portent sur des capacités cyber précises, et non sur toutes les performances générales des modèles.

Les cyberranges résistent davantage à ce rapprochement entre modèles. Dans l’environnement The Last Ones, GLM-5.2 atteint le niveau d’Opus 4.5, sorti moins de sept mois auparavant. DeepSeek-V4-Pro reste sous Sonnet 4.5, modèle situé sept mois plus tôt dans la chronologie citée. L’AISI observe donc un écart plus important sur les tâches longues. Ces exercices demandent aux modèles d’enchaîner plusieurs capacités pour mener une opération complète. L’institut estime que les défenseurs disposent d’une courte période de préparation avant une diffusion plus large de capacités cyber avancées. Cette conclusion concerne l’accès futur à des modèles ouverts dépourvus de certaines protections appliquées par les entreprises propriétaires. Lire l’analyse de l’AISI.

Kimi K3 approche les modèles propriétaires

Kimi présente un modèle de 2,8 billions de paramètres, nommé Kimi K3. Selon l’équipe Kimi, il atteint un niveau de pointe sur son ensemble d’évaluations. Il dépasse régulièrement les autres modèles testés. Ses résultats égalent ou suivent Claude Fable 5 et GPT 5.6 Sol, tout en restant derrière ces deux modèles propriétaires sur la performance globale. Les poids de Kimi K3 doivent être publiés dans les semaines suivantes, avec un article de recherche. L’équipe reconnaît toutefois certaines fragilités du modèle. Une partie de ses performances pourrait avoir été ajustée autour des évaluations utilisées. L’observation concerne donc ses résultats mesurés, sans établir une supériorité générale sur tous les usages.

Kimi automatise aussi certaines étapes liées à la conception de systèmes informatiques. Lors d’un test, Kimi K3 a développé MiniTriton, un compilateur compact inspiré de Triton. Le système comprend une représentation intermédiaire au niveau des tuiles, des passes d’optimisation et une génération de code PTX. Sur les évaluations de type roofline prises en charge, MiniTriton atteint des performances comparables ou supérieures à Triton et torch.compile. Kimi K3 a également conçu une puce destinée à un petit modèle fondé sur sa propre architecture. En 48 heures d’exécution autonome, il a construit, optimisé et vérifié cette puce. Le test utilisait des outils de conception électroniques à code ouvert et la bibliothèque Nangate 45 nm. Voir la présentation de Kimi K3.

Hassabis propose un organisme d’évaluation

Demis Hassabis propose une structure américaine chargée d’évaluer les modèles d’avant-garde. Le fondateur de DeepMind la compare à la Financial Industry Regulatory Authority, une organisation d’autorégulation supervisée par le gouvernement fédéral. Cet organisme développerait des protocoles d’évaluation avec les agences fédérales et les laboratoires nationaux américains. Les tests porteraient notamment sur des capacités liées à la sécurité nationale. La structure contribuerait aussi à définir les caractéristiques d’un modèle d’avant-garde. Dans un premier temps, les laboratoires pourraient transmettre volontairement leurs modèles jusqu’à 30 jours avant leur publication. Hassabis propose ensuite une formalisation légale, après validation de protocoles jugés robustes. Lire la proposition de Demis Hassabis.