Cloudflare impose des restrictions aux crawlers IA

Cloudflare impose de nouvelles restrictions aux entreprises d'IA concernant l'accès aux contenus web utilisés pour l'entraînement des modèles. Dès le 15 septembre 2026, les réglages par défaut de Cloudflare bloqueront les crawlers "à usage mixte" sur les pages contenant des publicités, sauf modification par les propriétaires de site. Cette annonce a été faite le mercredi par Cloudflare, modifiant la manière dont les modèles IA accèdent aux données web.

Cette décision impactera fortement les fournisseurs de modèles IA, limitant leur capacité à utiliser des contenus web pour améliorer et alimenter leurs services d'agents. La majorité des propriétaires de sites souhaitent que leur contenu soit découvrable par la recherche et les services d'IA, mais veulent protéger leur propriété intellectuelle. Cloudflare souligne que le moteur de recherche principal, implicitement Google, bénéficie d'un accès élargi à ces contenus.

Google, par l'intermédiaire de son bot Google Extended, permet aux sites de ne pas être utilisés pour l'entraînement et les produits d'IA, sans affecter leur visibilité dans Google Search. Cependant, le Googlebot principal couvre la recherche, incluant des fonctionnalités IA. Cloudflare souligne l'urgence d'une séparation claire entre recherche et utilisation des agents, suite à la prédominance du trafic bot sur le trafic humain.

Cloudflare propose également des outils pour mieux contrôler l'accès des IA, introduisant un modèle "Pay Per Use". En collaboration avec Ceramic.ai et You.com, les éditeurs peuvent être rémunérés lorsque leur contenu est utilisé par ces partenaires IA. Ce modèle, qui évolue à partir de "Pay Per Crawl", offre aux éditeurs une nouvelle manière de valoriser leur contenu et de gérer la bande passante et les ressources de calcul.

Pour plus de détails, consultez l'article sur TechCrunch et découvrez les outils IA de Cloudflare.