Apple compresse ses modèles de 2,8 à 1,3 milliard

Apple publie en août 2026 IDEA Prune, une méthode dédiée au préentraînement de modèles génératifs de langage. Les auteurs Yixiao Li, Xianzhi Du, Ajay Jaiswal, Tao Lei, Tuo Zhao, Chong Wang et Jianyu Wang présentent une chaîne intégrée d’agrandissement, d’élagage structuré et de récupération. Le travail associe Georgia Institute of Technology, University of Texas at Austin et Apple. Les expériences compressent des modèles de 2,8 milliards de paramètres vers 1,3 milliard. Elles utilisent jusqu’à 2 000 milliards de tokens pendant le préentraînement. La publication cible des modèles efficaces et déployables sous contrainte de budget d’inférence. Lire la publication Apple et consulter la version arXiv.

Le pipeline intégré traite l’agrandissement du modèle comme une étape du processus de compression. Les travaux précédents sur l’élagage structuré peuvent entraîner directement un modèle à sa taille cible. IDEA Prune étudie plutôt l’intérêt de préentraîner un modèle agrandi, même lorsque ce modèle ne sera jamais déployé. Les auteurs examinent aussi l’optimisation de l’ensemble de la chaîne. Leur approche regroupe l’entraînement du modèle agrandi, l’élagage et la récupération sous un seul calendrier de taux d’apprentissage cosinus. Cette organisation vise à coordonner les étapes au lieu de les traiter séparément. Les expériences portent sur des modèles de langage génératifs et sur une réduction de 2,8B à 1,3B paramètres.

Les auteurs coordonnent trois étapes

L’élagage itératif constitue le second élément de la méthode proposée. IDEA Prune retire progressivement les paramètres selon une stratégie d’élagage structuré itératif. Cette suppression graduelle vise à redistribuer la capacité du modèle entre les neurones conservés. Le pipeline cherche ainsi à faciliter une compression progressive des modèles. Les auteurs indiquent que leur méthode atténue la perte de connaissances associée à la hausse du taux d’apprentissage dans les pipelines naïfs d’agrandissement et d’élagage. Le calendrier cosinus unique accompagne les phases d’entraînement, de suppression et de récupération. Ces choix forment un système intégré, plutôt qu’une succession indépendante d’opérations appliquées au modèle.

Les résultats expérimentaux couvrent le préentraînement jusqu’à 2 000 milliards de tokens. Les auteurs rapportent que l’approche intégrée fournit des indications sur l’efficacité en tokens du préentraînement d’un modèle agrandi. Ils indiquent également qu’elle obtient de meilleures performances pour les modèles élagués. Le protocole compare donc la compression d’un modèle initialement agrandi avec l’entraînement de modèles à taille cible. La publication présente ces observations dans une étude consacrée à la compression de modèles de 2,8B vers 1,3B paramètres. Le résultat annoncé concerne la performance des modèles après élagage, ainsi que l’efficacité en tokens du processus de préentraînement.

IDEA Prune cible l’inférence contrainte

Le prochain enjeu porte sur l’usage de modèles dans des budgets d’inférence limités. La publication relie directement l’élagage structuré à la recherche de modèles efficaces et déployables. Sa méthode combine une étape d’agrandissement non destinée au déploiement avec une compression structurée progressive. Les auteurs de Georgia Institute of Technology, de University of Texas at Austin et d’Apple présentent cette combinaison comme un moyen d’optimiser le pipeline complet. La page de recherche Apple classe le travail parmi les méthodes et algorithmes, ainsi que le traitement de la parole et du langage naturel. La publication est datée d’août 2026.