En résumé
K-Search utilise les connaissances de CUDA pour optimiser les GPU Apple Silicon avec MLX.
Une nouvelle couche de traduction améliore les performances des kernels en utilisant des stratégies éprouvées.
Les évolutions apportent des vitesses proches des experts sur les puces Apple avec jusqu'à 20x d'amélioration.
Le signal : K-Search utilise les connaissances CUDA pour optimiser MLX.
Vous appréciez ce genre d'analyse ?
Chaque mardi et vendredi, l'essentiel en business & IA décryptées en 5 minutes. Gratuit, sans engagement.
+11 000 fondateurs abonnés
K-Search, un cadre d’optimisation des kernels, permet maintenant de transférer les connaissances du CUDA vers le framework MLX d’Apple. Ce développement repose sur une traduction innovante qui adapte les kernels existants pour maximiser leurs performances sur les puces Apple Silicon. Cette approche a permis d’atteindre des performances proches de l’expertise humaine avec une vitesse de 0,97x par rapport au kernel MLX natif en savoir plus.
L’énorme avantage du K-Search est son utilisation des connaissances accumulées par CUDA pour améliorer les kernels sur des architectures matérielles différentes. Grâce à K-Search, les tâches complexes prenant des mois peuvent désormais être optimisées en quelques minutes. Le transfert automatique des kernels, qui est l’objectif, permet de contourner la nécessité de recréer les optimisations déjà connues.
L’utilisation de K-Search sur Apple Silicon a transformé la façon dont les kernels sont développés pour ce matériel. En utilisant une couche de traduction qui mappe les stratégies CUDA aux équivalents de MLX, les performances des kernels sur Apple Silicon se sont considérablement améliorées. Cela inclut l’implémentation de réductions dans les registres en utilisant simd_shuffle_xor pour améliorer les softmax.
Les résultats montrent des augmentations spectaculaires des performances. Par exemple, le kernel Mamba SSM a enregistré une vitesse de pré-remplissage 20 fois supérieure à la version communautaire MLX. Les modèles évolués atteignent presque le niveau de performance des experts sans nécessiter de compétences spécialisées internes à Apple.
K-Search, tout en se concentrant sur l’écosystème MLX, prouve qu’il est possible d’exporter des connaissances d’un environnement mature comme CUDA vers des systèmes plus récents comme Apple Silicon. Cela ouvre des opportunités pour augmenter l’efficacité des GPU sur divers matériels en tirant parti de décennies d’optimisation source originale.
Gardez un coup d'avance en IA et tech.
Chaque mardi et vendredi, l'essentiel en business & IA décryptées en 5 minutes. Zéro spam.
+11 000 fondateurs abonnés
