OpenAI propulse Habitat pour plus d’un milliard d’utilisateurs

OpenAI accélère Habitat pour soutenir ses produits utilisés par plus d’un milliard de personnes chaque semaine. Sa plateforme de stockage en ligne traite désormais plus de 70 millions de requêtes par seconde. Elle gère aussi plus de 500 pétaoctets de données dans près de 40 régions géographiques. Habitat alimente notamment ChatGPT, l’API, Codex et des services internes. OpenAI présente cette évolution dans un article publié le 11 septembre 2026. La plateforme doit fournir un accès rapide et fiable aux données. Chaque connexion, réglage Codex ou nouvelle conversation peut donc nécessiter plusieurs recherches distinctes. Une requête lente ou défaillante peut affecter directement la réponse du produit.

Une croissance hors norme a guidé les choix techniques d’OpenAI. Habitat a progressé de plus de dix fois par an pendant trois années consécutives. Les ingénieurs ont donc pris des décisions tactiques pour exploiter l’infrastructure existante. Ils ont aussi dû gérer des tensions sur les capacités de stockage et de calcul. Le système a d’abord gagné en fiabilité pour les flux critiques. Il a ensuite été optimisé pour les utilisateurs répartis mondialement. Habitat avait été lancé à DevDay 2023 pour prendre en charge les GPTs. La solution consistait alors en une bibliothèque cliente Python connectée à une base Azure Cosmos DB unique.

Habitat centralise les évolutions de stockage

La bibliothèque simplifiait le travail des équipes produit. Habitat gérait la recherche de schéma, le routage, l’autorisation, le chiffrement, la sérialisation et la mise en forme des requêtes. Les équipes n’avaient pas non plus à choisir entre Azure Cosmos DB, des caches ou d’autres ressources de stockage. Mais la complexité a augmenté jusqu’au milieu de 2025. Une migration vers plusieurs comptes Azure Cosmos DB régionaux a alors nécessité de modifier le client, de déployer un indicateur de fonctionnalité et de coordonner des dizaines de services. Le déploiement du mécanisme de simulation a demandé plusieurs jours supplémentaires. OpenAI a donc déplacé Habitat dans un service autonome.

Le service autonome a créé un point de contrôle unique pour les déploiements, l’observabilité et les améliorations de plateforme. Les changements peuvent ainsi bénéficier immédiatement à tous les produits OpenAI. Cette centralisation permet aussi d’appliquer les politiques d’accès, la journalisation des audits et les restrictions vers les ressources sous-jacentes. OpenAI présente Habitat comme une couche importante pour protéger les données des utilisateurs. L’équipe a toutefois conservé Python malgré les coûts supplémentaires liés au réseau, au processeur et à la mémoire. Elle a considéré ce choix comme une dette technique temporaire. Elle voulait d’abord débloquer les équipes produit et stabiliser les interfaces principales.

Python expose les latences de queue

Le principal défi du service Python concerne les latences élevées observées sur les requêtes les plus lentes. Une requête utilisateur moyenne peut déclencher des centaines d’appels à la base de données. Le délai du plus lent devient alors perceptible. Asyncio permet de traiter plusieurs opérations d’entrée-sortie en parallèle, mais il ne fournit pas de parallélisme processeur face au verrou global de l’interpréteur Python. Habitat exécute aussi des tâches lourdes, comme le routage, la compression, le chiffrement, la vérification et le contrôle des services aval. OpenAI mesure donc le délai de planification de la boucle asyncio, qui peut atteindre plusieurs centaines de millisecondes.

Les processus Python sont volontairement limités à un petit nombre de requêtes simultanées. OpenAI compense cette contrainte en augmentant fortement le nombre de processus workers. L’équipe surveille l’utilisation du processeur, de la mémoire, du réseau et du disque. Elle suit également l’activité de la boucle asyncio. Pour mesurer le délai réel, des tâches d’arrière-plan sont planifiées périodiquement. L’écart entre l’exécution attendue et l’exécution observée fournit une mesure du retard. L’article détaille cette architecture dans la publication technique d’OpenAI. OpenAI annonce aussi un second article consacré à la fiabilité multi-tenant et aux performances de lecture.