Google accélère Gemini Nano d’au moins 50 % sur Pixel

Google déploie une nouvelle architecture de prédiction multi-token sur les modèles Gemini Nano v3. L’approche équipe désormais les séries Pixel 9 et Pixel 10. Elle vise l’inférence locale, sans envoyer les données privées hors de l’appareil. Google indique des gains de vitesse d’au moins 50 % sur les Pixel 9, selon les tâches et les modèles de comparaison. En production, le système prédit correctement près de deux tokens supplémentaires par passe. Les fonctions AI Notification Summaries et Proofread génèrent ainsi leurs résultats plus rapidement. Elles consomment également moins d’énergie, selon les résultats présentés par Eden Cohen et Michelle Ramanovich dans l’article de Google Research.

Les contraintes mobiles expliquent l’intérêt de cette méthode. Un modèle classique produit un seul token à chaque étape. Cette génération autorégressive mobilise la puissance de calcul et la bande passante mémoire du téléphone. Elle doit aussi respecter un budget énergétique strict et une mémoire vive limitée. La génération spéculative sépare habituellement la production de candidats et leur vérification. Un petit modèle, appelé drafter, propose plusieurs tokens. Le grand modèle vérifie ensuite ces propositions en parallèle. Cette organisation impose toutefois un modèle supplémentaire. Un drafter autonome de 128 millions de paramètres consomme notamment une partie de la mémoire disponible.

Google intègre le module MTP

Le module intégré remplace ce drafter autonome par une tête Transformer légère. Google l’ajoute aux dernières couches du modèle principal. Cette tête exploite les représentations internes déjà calculées par le réseau. Elle prédit ensuite une séquence de tokens futurs. Le modèle Gemini Nano v3 reste gelé pendant cet entraînement. Seuls les paramètres de la tête MTP sont optimisés pour réduire l’erreur de prédiction. Google présente donc cette modification comme une optimisation d’efficacité. Le modèle de base conserve ses capacités et son alignement de sécurité. Les brouillons incorrects sont supprimés lors de la vérification. La sortie finale reste identique, bit par bit, à celle du modèle principal.

La mémoire baisse grâce à une architecture dite zero-copy. La tête MTP utilise directement le cache clé-valeur du modèle principal. Elle ne conserve donc pas un historique séparé. Cette conception supprime le préremplissage supplémentaire du drafter. Elle réduit aussi l’empreinte mémoire d’environ 130 Mo par instance. Ces économies viennent notamment de la suppression de tables d’embeddings, de variantes d’attention et de paramètres d’adaptation propres aux applications. Google indique que la tête MTP bénéficie ainsi des états cachés et du cache déjà calculés. Le modèle principal vérifie ensuite les tokens candidats en parallèle. Le système évite ainsi une partie du travail redondant.

Pixel gagne en vitesse d’inférence

Les tests montrent que les têtes MTP prédisent les tokens avec davantage de précision que des drafters autonomes de taille comparable. Google observe des accélérations d’au moins 50 % sur les Pixel 9, selon les tâches. Pour les résumés et les réécritures soumis à des contraintes complexes, MTP dépasse les drafters autonomes ajustés séparément. Pour les réponses intelligentes, la tête atteint jusqu’à 55 % d’amélioration du taux d’acceptation des tokens. Le déploiement a aussi demandé une refonte de la pile d’inférence locale. Celle-ci doit gérer la dépendance entre la génération des brouillons et leur vérification. Google documente l’écosystème Gemini Nano sur Android Developers.

Google explore désormais l’intégration de MTP dans de futurs appareils Pixel. Les équipes étudient aussi le décodage parallèle et des architectures sans tête auxiliaire. Elles cherchent à réduire davantage la latence de génération des brouillons. Une autre piste consiste à explorer plusieurs branches de génération en parallèle. Cette approche doit améliorer l’acceptation de longues séquences lorsque le contexte reste ambigu. Google examine enfin une vérification moins stricte pour certains usages. Cette option relâcherait la correspondance exacte entre le brouillon et la vérification. L’article rapproche ces travaux des recherches antérieures sur EAGLE et CALM, ainsi que des annonces consacrées à Gemma 4.