OlmoEarth d’Ai2 analyse un continent en une journée

Ai2 présente OlmoEarth. L’organisation a construit OlmoEarth, une plateforme d’infrastructure pour conduire des modèles géospatiaux du réglage fin et de l’évaluation jusqu’à l’inférence à grande échelle. Les modèles OlmoEarth forment une famille de modèles de fondation pour l’observation de la Terre. Ils ont été préentraînés sur environ 10 téraoctets de données satellitaires multimodales. Ai2 indique que des gouvernements, des organisations non gouvernementales et d’autres structures engagées adaptent déjà OlmoEarth à la surveillance de la déforestation, à la sécurité alimentaire et au risque d’incendie. La plateforme vise les organisations qui ne disposent pas de l’infrastructure nécessaire pour gérer tout le cycle opérationnel des modèles. (Présentation d’Ai2)

Les organisations ciblées manquent d’infrastructure. Ai2 explique que les équipes environnementales doivent gérer l’étiquetage des données, le réglage fin des modèles et l’inférence sur de grandes zones. L’organisation s’appuie aussi sur plus d’une décennie d’exploitation de plateformes comme Skylight et EarthRanger. Ces logiciels sont utilisés quotidiennement par des utilisateurs dans le monde. Cette expérience a conduit Ai2 à intégrer plusieurs fonctions dans OlmoEarth. La plateforme exécute les modèles au bon moment et au bon endroit, surveille leurs performances et transforme les sorties brutes en informations exploitables. Elle doit également vérifier que ces sorties contribuent aux résultats recherchés par les partenaires. (Détails techniques)

OlmoEarth traite des zones continentales

Le traitement atteint l’échelle continentale. La plateforme peut aujourd’hui exécuter une inférence sur des zones de taille continentale en environ une journée. Elle traite alors des dizaines de téraoctets d’images satellitaires. Ai2 évalue le coût à une fraction de centime par kilomètre carré. Les données doivent être trouvées et obtenues auprès de plusieurs fournisseurs. Elles doivent ensuite être alignées entre différentes projections et résolutions. Les observations peuvent aussi manquer ou être masquées par des nuages. Les résultats sont enfin assemblés dans des cartes cohérentes géographiquement. Une carte récente produite par OlmoEarth représentait le risque d’incendie et incluait des statistiques.

Les données dominent certains délais. Ai2 indique que les tâches de prédiction passent souvent davantage de temps à télécharger et préparer les images qu’à exécuter le modèle. Les pipelines doivent donc gérer des volumes élevés d’entrées-sorties. Ils doivent aussi fournir la puissance nécessaire pour reprojeter et rééchantillonner les images. L’inférence d’observation terrestre traite plusieurs bandes spectrales, types de capteurs et étapes temporelles. Chaque prédiction doit rester alignée sur la même projection et la même grille de coordonnées que les zones voisines. Ces contraintes distinguent ces traitements des modèles qui analysent quelques mégaoctets en moins d’une seconde, comme certains modèles de langage ou de vision.

Ai2 sépare les charges matérielles

Trois étapes structurent chaque tâche. La première utilise des processeurs pour acquérir, reprojeter, aligner et normaliser les images. Elle écrit ensuite les données dans un format optimisé pour l’inférence. La deuxième mobilise des processeurs graphiques pour exécuter le passage direct du modèle. Elle écrit des sorties peu transformées directement dans le stockage. La troisième revient aux processeurs pour assembler les résultats par fenêtre, appliquer des masques ou un redimensionnement, puis exporter les fichiers. OlmoEarth peut produire des formats destinés aux utilisateurs, notamment Zarr, GeoTIFF et GeoJSON. Cette séparation évite d’affecter les processeurs graphiques à des tâches mieux adaptées aux processeurs.

La plateforme distribue les opérations. OlmoEarth répartit les trois étapes entre de nombreuses machines. Des chargeurs de données multiprocessus alimentent continuellement chaque processeur graphique. Les sorties terminées sont transmises directement vers un stockage d’objets. L’architecture doit aussi reconstituer des cartes cohérentes malgré les défaillances habituelles du calcul distribué. Ai2 présente ces difficultés comme des problèmes d’ingénierie susceptibles d’être rencontrés par d’autres systèmes géospatiaux à grande échelle. La plateforme relie ainsi le réglage fin, l’évaluation et l’inférence opérationnelle. Son périmètre couvre les données, le calcul, l’assemblage des résultats et leur export dans des formats utilisables.