AWS ajoute les décisions structurées à llama.cpp sur SageMaker

AWS déploie le composant AWS DLC pour llama.cpp afin de servir des complétions de conversation compatibles avec OpenAI sur SageMaker AI. Le service passe par l’API InvokeEndpoint de SageMaker AI. Cette architecture prend en charge deux chemins de déploiement. Le premier concerne la génération de texte. Le second concerne les décisions structurées. AWS présente ainsi llama.cpp comme la base d’un service pouvant retourner une réponse générée ou évaluer des options déclarées. Le chemin de génération utilise le composant AWS DLC pour llama.cpp. Il retourne les réponses générées via l’API compatible avec OpenAI. L’article décrit cette intégration dans SageMaker AI, avec AWS, llama.cpp et SageMaker comme acteurs principaux.

SemIf évalue des décisions en renvoyant des probabilités sur des options déclarées. Le modèle ne décode pas un jeton de réponse pour produire cette sortie. SemIf, auparavant appelé OpenJev, appartient à une classe de modèles qui attribuent un score à des résultats définis par l’application depuis un état non structuré. Cette approche correspond au chemin de décision structurée présenté par AWS. Elle se distingue donc du chemin de génération de texte, qui retourne des réponses générées. Le projet SemIf est disponible dans un dépôt dédié. AWS fournit également un exemple de déploiement SageMaker consacré au modèle de décision SemIf. Ces ressources documentent les deux composants utilisés.

AWS sépare génération et décision

Le chemin structuré utilise AWS CodeBuild pour construire une image enfant. Cette image est ensuite stockée dans Amazon Elastic Container Registry, aussi appelé Amazon ECR. Le déploiement s’appuie donc sur une étape de construction distincte avant l’utilisation de l’image dans SageMaker AI. AWS décrit cette procédure pour le chemin de décision structurée. Le chemin de génération suit une autre voie et utilise directement le composant AWS DLC pour llama.cpp. Les deux parcours restent ainsi séparés dans l’architecture présentée. L’un sert des réponses via une interface compatible avec OpenAI. L’autre renvoie des probabilités associées à des options déclarées par l’application.

Les résultats mesurés proviennent de 231 tâches publiques JevBench. La configuration CPU atteint une précision de 77,5 %. La configuration GPU atteint 77,9 %. L’écart mesuré entre les deux configurations est donc de 0,4 point de pourcentage sur cet ensemble de tâches. Le point de comparaison porte sur la précision obtenue par le modèle de décision. Ces résultats associent l’évaluation à SemIf et à son usage dans le parcours de décision structurée. JevBench fournit ici les 231 tâches utilisées pour le calcul. AWS présente les chiffres de précision avec les deux configurations matérielles, CPU et GPU, dans le cadre de ce déploiement SageMaker AI.

Le GPU réduit surtout la latence

Le point de latence différencie davantage les configurations que la précision. L’endpoint GPU est 4,9 fois plus rapide au p50 que la configuration CPU. Au p95, il est 32,2 fois plus rapide. Ces mesures comparent le même endpoint GPU à la configuration CPU. Le p50 décrit la valeur médiane rapportée dans l’évaluation. Le p95 décrit une valeur située plus haut dans la distribution des temps mesurés. AWS associe ces résultats aux 231 tâches publiques JevBench. L’écart de précision reste limité entre CPU et GPU, avec 77,5 % contre 77,9 %. L’écart de vitesse est, lui, mesuré à deux niveaux de latence distincts.

Les ressources AWS décrivent les composants nécessaires pour reproduire ces chemins. La documentation du composant llama.cpp pour les conteneurs AWS couvre le DLC utilisé par le chemin de génération. Le dépôt llama.cpp fournit le projet associé. Le dépôt SemIf présente le modèle auparavant appelé OpenJev. AWS publie aussi un exemple SageMaker pour SemIf. Ces ressources correspondent aux deux parcours décrits, avec CodeBuild et Amazon ECR pour l’image enfant du chemin structuré.