# LoRA Speedrun : record de fine-tuning en 6 minutes

> Le LoRA Speedrun établit un record de fine-tuning en 6 minutes et 5 secondes sur GSM8K avec le modèle Qwen2.5-1.5B sur une L40S.

Type : Actualité IA · Catégorie : Outils · Publié le 2026-07-20 · Signal IA - Order & Chaos
Source : https://www.orderchaos.eu/signal-ia/actu/lora-speedrun-record-de-fine-tuning-en-6-minutes
Tags : lora, fine-tuning, qwen2.5-1.5b, gsm8k, modal, qwen

---

## En résumé

- Le LoRA Speedrun défie les développeurs d'atteindre 57% de précision sur GSM8K rapidement.
- Des ressources gratuites Modal permettent à tous de vérifier les records sur une carte L40S.
- Le record actuel de 6 minutes et 5 secondes utilise des techniques avancées comme le sequence packing.

**Le signal :** En juillet 2026, @Saivineeth147 a atteint 61,1% de précision en 6 minutes et 5 secondes de fine-tuning sur GSM8K.

**Le LoRA Speedrun** a récemment établi un record impressionnant en [fine-tuning sur le modèle Qwen2.5-1.5B](/signal-ia/actu/nvidia-et-hugging-face-lia-optimisee-sans-conversion), atteignant un score de 61,1% sur les tâches GSM8K. Le temps d'entraînement, fixé à seulement 6 minutes et 5 secondes, a été réalisé en utilisant une seule carte graphique L40S par @Saivineeth147. Ce résultat marque une avancée significative dans l'efficacité du fine-tuning. [Source](https://github.com/Saivineeth147/lora-speedrun).

**Avant cette réalisation**, le temps de fine-tuning de base était de 11 minutes et 57 secondes, utilisant une configuration LoRA classique sur toutes les couches linéaires. Les méthodes récentes comme le séquence packing et le completion-only loss masking ont permis de réduire considérablement ce temps tout en augmentant la précision. [Qwen2.5-1.5B](https://huggingface.co/Qwen/Qwen2.5-1.5B).

**Les participants au challenge** peuvent bénéficier d'un espace de timming officiel fourni par [Modal](/signal-ia/actu/bercy-interrompt-qwen-alibaba-bascule-mistral) avec des crédits de calcul gratuits chaque mois, permettant à chacun de tenter et de vérifier les records librement. L'infrastructure utilise un [modal sandbox](https://modal.com) pour garantir une compétition équitable et transparente.

**Les implications multiples** des résultats encouragent une adoption plus large et plus rapide des techniques de fine-tuning paramètre-efficace. Cette initiative vise à comparer équitablement différentes méthodologies dans une arène publique, ce qui n'avait pas été possible jusqu'à présent.

**Le projet Speedrun** explore non seulement la performance sur GSM8K mais également sur le SQuAD v1.1 avec un modèle différent, garantissant la transférabilité des techniques utilisées. Cela vise à évaluer empiriquement la robustesse et l'adaptabilité des approches testées.