Marché chinois des relais : comment déjouer les restrictions

Le marché des relais en Chine exploite des API pour revendre des jetons LLM à des prix réduits. Selon une enquête menée par Matt Lenhard, ce marché utilise des clés API regroupées de différentes sources pour offrir ces réductions. Les acteurs de ce marché utilisent des méthodes telles que l’abus des essais gratuits et l’utilisation de bots de support non sécurisés pour offrir des jetons moins chers que les prix API standard. Certains utilisent même des cartes de crédit volées ou des attaques de rétrofacturation pour maintenir leurs activités. Simon Willison en parle ici.

Les logiciels open source jouent un rôle central dans ce secteur. Les relais comme one-api et son fork plus actif, new-api, sont utilisés pour équilibrer les requêtes à travers un pool de crédentiels API. Ces outils, bien que légitimes, permettent de structurer efficacement la revente de jetons en contournant les limitations géographiques et en exploitant divers points faibles des systèmes API.

Les acheteurs de ces relais cherchent principalement à contourner les restrictions géographiques, mais aussi à collecter des données précieuses pour la distillation de modèles. Ce phénomène incite à la prudence dans l’exposition publique des applications LLM, car l’exploitation d’une faille dans un point d’accès peut entraîner d’importantes factures de jetons pour les développeurs.

Les implications de ce marché pourraient être problématiques pour les vendeurs LLM. Il est essentiel pour eux de mettre en place des plafonds stricts pour les identifiants API afin de limiter les risques financiers pour leurs utilisateurs. Sans ces mesures, il existe un potentiel élevé de pertes financières dues à l’utilisation non autorisée de leurs services.

Pour les dirigeants d’entreprises françaises, la prudence est de mise lorsqu’ils exploitent des applications basées sur les LLM. Bien que la tentation de réduire les coûts en utilisant des relais soit grande, il est crucial de considérer les risques de sécurité et de conformité impliqués dans de telles pratiques. De plus, en l’absence de régulations strictes, les entreprises pourraient être tenues responsables des violations de données qui surviennent grâce à ces pratiques frauduleuses.

Comparativement aux autres marchés, il semble que la Chine soit un terrain particulièrement fertile pour ces activités en raison d’une forte demande de contournement des restrictions et d’exploitation des essais gratuits. D’autres marchés pourraient suivre ce modèle si les régulations ne sont pas adaptées adéquatement.