OlmoEarth cartographie des continents en un jour

Ai2 lance OlmoEarth. Ai2 présente OlmoEarth, une plateforme d’infrastructure dédiée à l’inférence géospatiale à grande échelle. Les modèles OlmoEarth forment une famille de modèles fondamentaux pour l’observation de la Terre. Ils ont été préentraînés sur environ 10 téraoctets de données satellitaires multimodales. La plateforme peut couvrir des zones de taille continentale en environ un jour. Elle traite alors des dizaines de téraoctets d’images. Ai2 indique un coût de fractions de centime par kilomètre carré. Des gouvernements, des ONG et d’autres organisations orientées par une mission adaptent déjà ces modèles. Les applications citées incluent le suivi de la déforestation, la sécurité alimentaire et le risque d’incendie. Lire la présentation d’Ai2.

Des organisations adaptent les modèles. Ai2 explique que de nombreuses organisations environnementales ne disposent pas des infrastructures nécessaires pour gérer tout le cycle d’un modèle. Ce cycle comprend l’annotation des données, l’ajustement des modèles et l’inférence à grande échelle. L’organisation s’appuie aussi sur plus de dix ans d’exploitation de plateformes comme Skylight et EarthRanger. Ces logiciels sont utilisés quotidiennement par des utilisateurs dans plusieurs régions du monde. Cette expérience a orienté la conception d’OlmoEarth. La plateforme relie l’ajustement, l’évaluation et l’inférence géospatiale. Ai2 décrit également un objectif opérationnel précis : exécuter les modèles au bon endroit, au bon moment et avec un coût maîtrisé. La plateforme doit ensuite transformer les sorties brutes en informations exploitables.

Ai2 structure les traitements satellites

Les images imposent plusieurs contraintes. Une tâche d’observation terrestre peut déplacer des téraoctets de données et durer plusieurs heures. Les entrées peuvent combiner plusieurs bandes spectrales, types de capteurs et étapes temporelles. Elles peuvent aussi provenir de plusieurs fournisseurs. Ces fournisseurs utilisent des projections et des résolutions différentes. Certaines observations sont absentes ou masquées par des nuages. Chaque prédiction doit rester alignée avec la projection et la grille de coordonnées de la zone voisine. Ai2 indique que l’acquisition et la préparation des données prennent souvent plus de temps que l’exécution du modèle. Les pipelines doivent donc gérer des volumes importants d’entrées-sorties. Ils doivent aussi fournir la puissance nécessaire pour reprojeter et rééchantillonner les images.

Trois étapes répartissent les ressources. OlmoEarth affecte l’acquisition et le prétraitement à des processeurs, car ces tâches demandent beaucoup d’entrées-sorties. Cette phase récupère, reprojette, aligne et normalise les images. Elle les écrit ensuite dans un format adapté au chargement rapide. L’inférence utilise des processeurs graphiques pour exécuter le passage avant du modèle. Elle écrit les sorties peu transformées directement dans le stockage. Le post-traitement revient aux processeurs. Il assemble les résultats par fenêtre, applique des masques ou des changements d’échelle, puis exporte les fichiers. Les formats proposés comprennent Zarr, GeoTIFF et GeoJSON. Des chargeurs multiprocessus alimentent continuellement les processeurs graphiques.

OlmoEarth assemble les cartes produites

Le stockage reçoit les sorties. Ai2 distribue les trois étapes sur plusieurs machines. Les résultats terminés sont transmis directement vers un stockage d’objets. Cette organisation vise à garder les processeurs graphiques utilisés pendant que les processeurs récupèrent et préparent les images. Le système doit aussi assembler les sorties par fenêtre en cartes géographiquement cohérentes. Il doit récupérer les incidents courants des traitements distribués. La plateforme produit notamment des cartes de risque d’incendie accompagnées de statistiques. Ces cartes illustrent une sortie finale après l’inférence et le post-traitement. Ai2 présente OlmoEarth comme une infrastructure complète, plutôt qu’un modèle isolé à intégrer dans une chaîne technique existante.

Ai2 détaille son ingénierie. L’organisation indique que son article présente les difficultés rencontrées et les solutions retenues pour l’inférence géospatiale à grande échelle. La plateforme combine des données satellitaires issues de plusieurs fournisseurs. Elle aligne ces données malgré leurs projections et résolutions différentes. Elle sépare ensuite les tâches selon leurs besoins matériels. Cette séparation évite d’affecter les processeurs graphiques aux opérations d’acquisition et de préparation. OlmoEarth vise ainsi des usages comme la déforestation, la sécurité alimentaire et le risque d’incendie. Les organisations peuvent adapter les modèles à ces applications. Consulter les détails techniques publiés par Ai2.