LoRA Speedrun : record de fine-tuning en 6 minutes

Le LoRA Speedrun a récemment établi un record impressionnant en fine-tuning sur le modèle Qwen2.5-1.5B, atteignant un score de 61,1% sur les tâches GSM8K. Le temps d’entraînement, fixé à seulement 6 minutes et 5 secondes, a été réalisé en utilisant une seule carte graphique L40S par @Saivineeth147. Ce résultat marque une avancée significative dans l’efficacité du fine-tuning. Source.

Avant cette réalisation, le temps de fine-tuning de base était de 11 minutes et 57 secondes, utilisant une configuration LoRA classique sur toutes les couches linéaires. Les méthodes récentes comme le séquence packing et le completion-only loss masking ont permis de réduire considérablement ce temps tout en augmentant la précision. Qwen2.5-1.5B.

Les participants au challenge peuvent bénéficier d’un espace de timming officiel fourni par Modal avec des crédits de calcul gratuits chaque mois, permettant à chacun de tenter et de vérifier les records librement. L’infrastructure utilise un modal sandbox pour garantir une compétition équitable et transparente.

Les implications multiples des résultats encouragent une adoption plus large et plus rapide des techniques de fine-tuning paramètre-efficace. Cette initiative vise à comparer équitablement différentes méthodologies dans une arène publique, ce qui n’avait pas été possible jusqu’à présent.

Le projet Speedrun explore non seulement la performance sur GSM8K mais également sur le SQuAD v1.1 avec un modèle différent, garantissant la transférabilité des techniques utilisées. Cela vise à évaluer empiriquement la robustesse et l’adaptabilité des approches testées.