K-Search pulvérise le préremplissage par 20x sur Apple Silicon

K-Search a démontré son efficacité en convertissant l’expertise CUDA en stratégies adaptées aux puces Apple Silicon via son nouvel outil MLX. Le framework a atteint une performance de 0.97x par rapport aux kernels MLX natifs, offrant jusqu’à 20x d’amélioration en préremplissage pour certains cas spécifiques. Cette innovation permet de combler l’écart de performance entre l’écosystème CUDA bien établi et les matériels plus récents comme Apple Silicon. Source originale.

La conversion CUDA vers MLX repose sur un modèle de recherche évolutif nommé K-Search, développé à l’UC Berkeley Sky Lab. Ce modèle optimise les kernels GPU en les adaptant au cadre MLX grâce à une traduction structurée de CUDA. L’approche permet d’utiliser les connaissances accumulées au fil des années par l’écosystème CUDA, évitant ainsi une réinvention des optimisations depuis zéro.

Les résultats impressionnants

Les résultats impressionnants de cette technologie ont été mis en évidence par le gain de performance observé sur le kernel Attention d’Apple Silicon, qui atteint presque le niveau d’expert, ainsi que par l’accélération significative sur le kernel Mamba SSM. L’applicabilité de cette méthode transcende l’écosystème MLX, potentiellement bénéfique pour différents matériels.

Un gain de performance notable est observé avec le kernel Mamba SSM, évalué sur un M1 Max, qui montre une vitesse de préremplissage améliorée de manière dramatique par rapport aux implémentations communautaires. Cet exploit souligne la capacité de K-Search à optimiser efficacement différents types de kernels GPU au-delà de l’attention, renforçant son potentiel d’élargissement à d’autres architectures matérielles dans le futur.

K-Search continue d’être un acteur clé dans l’optimisation des ressources matérielles, contribuant ainsi à augmenter les performances des puces spécialisées en IA. L’utilisation de K-Search sur des kernels divers met en lumière son potentiel considérable à exploiter l’expertise d’optimisation existante tout en élargissant son applicabilité technologique à d’autres plateformes compatibles.