Scraping à grande échelle : les défis techniques derrière la collecte de données d'OpenAI

OpenAI
Scraping at Scale: The Technical Friction Behind OpenAI’s Data Harvesting Tactics
Alors qu'OpenAI défend ses pratiques de collecte de données face aux poursuites judiciaires, un fossé technique se creuse entre l'entraînement d'IA à l'échelle industrielle et les bibliothèques numériques qui abritent le savoir mondial.

Dans l'arène à enjeux élevés du développement de l'intelligence artificielle, la terminologie guerrière remplace de plus en plus le langage de l'ingénierie logicielle. Lorsque des rapports ont fait état des systèmes automatisés d'OpenAI et de leurs interactions avec des dépôts numériques, les gros titres ont cédé à la dramatisation : modèles « voyous » et « attaques » contre des bibliothèques numériques. Cependant, pour ceux d'entre nous qui observent le monde sous l'angle de la précision mécanique et du débit industriel, la réalité est bien plus clinique, bien que tout aussi perturbatrice. Ce qui est qualifié d'action « voyou » est, en termes techniques, un échec de la limitation de débit et un conflit fondamental entre les exigences de moissonnage agressif des grands modèles de langage (LLM) et l'infrastructure fragile des archives numériques d'intérêt public.

Le cœur de la controverse actuelle découle des frictions juridiques et techniques entre OpenAI et des entités comme le New York Times et l'Internet Archive. Dans des dossiers judiciaires récents, un récit a émergé selon lequel les systèmes d'OpenAI sont accusés de contourner les protections traditionnelles pour ingérer du matériel protégé par le droit d'auteur ou restreint. À l'inverse, OpenAI a rétorqué en suggérant que ses modèles ont été essentiellement « appâtés » ou manipulés pour produire des contenus contrefaisants par le biais de ce qu'ils décrivent comme du piratage — une affirmation qui suggère que l'« attaque » provient des utilisateurs, et non de la machine. Pour comprendre la gravité de cette situation, il faut dépasser la rhétorique et examiner la mécanique industrielle de la collecte de données.

L'industrialisation du robot d'indexation

Du point de vue du génie mécanique, nous pouvons considérer GPTBot comme une moissonneuse industrielle à grande vitesse. Lorsqu'il cible une bibliothèque numérique, il ne « lit » pas au sens humain du terme. Il exécute des requêtes GET récursives à un volume qui peut facilement imiter une attaque par déni de service distribué (DDoS). Si la logique interne du bot est optimisée pour le débit plutôt que pour l'étiquette, elle peut saturer les capacités d'E/S du serveur. Lorsqu'OpenAI suggère que ses modèles sont « devenus voyous », ils font probablement référence à une défaillance automatisée où le robot d'indexation a ignoré les limites de débit ou a mal interprété les chemins de navigation, entraînant un plantage localisé du système pour la bibliothèque en question.

Le « prompt engineering » antagoniste comme outil de découverte

Une part importante de la tension concerne le procès du New York Times contre OpenAI. Le Times a fourni des preuves que ChatGPT pouvait reproduire textuellement des extraits de leurs reportages d'investigation. La défense d'OpenAI a été frappante : ils ont affirmé que le Times avait engagé quelqu'un pour « pirater » leurs produits en utilisant des « invites trompeuses qui violent manifestement les conditions d'utilisation d'OpenAI ». Ici, la définition du « piratage » est très élastique. Dans le monde du logiciel, si un système peut être contraint à fournir des données restreintes simplement en lui posant la question de la bonne manière, cela est généralement classé comme une vulnérabilité ou un bug, et non comme un piratage.

Cela soulève une question cruciale : un modèle agit-il en « voyou » s'il suit simplement les chemins probabilistes sur lesquels il a été entraîné ? Si un utilisateur demande à un LLM de « réciter les trois premiers paragraphes de l'édition du 5 janvier du New York Times » et que le modèle s'exécute, le modèle fonctionne parfaitement selon sa conception. L'échec réside dans la phase d'entraînement, où des données protégées par le droit d'auteur ont été ingérées sans mécanisme empêchant leur récupération intégrale. Pour une bibliothèque numérique comme l'Internet Archive, qui héberge des millions de livres numérisés, le risque est que ces modèles traitent l'intégralité de leur base de données comme un jeu de données libre d'utilisation, transformant essentiellement par « machine-washing » le contenu sélectionné de la bibliothèque en un produit commercial.

La collecte de données constitue-t-elle une attaque technique ?

En outre, il y a la question du « shadow scraping » (moissonnage fantôme). De nombreuses entreprises d'IA utilisent des jeux de données tiers comme Common Crawl ou LAION pour entraîner leurs modèles. Si ce sont ces tiers qui ont « attaqué » les bibliothèques pour collecter les données, les entreprises d'IA peuvent revendiquer un degré de séparation. Cependant, à mesure qu'OpenAI s'oriente vers une collecte de données propriétaire plus directe via GPTBot, cette couche de déni s'amenuise. Ils sont désormais les principaux opérateurs de la machinerie lourde, et ils sont tenus responsables de la fumée et du bruit qu'elle produit.

La viabilité économique des dépôts ouverts

Nous devons également considérer l'utilité économique de ces bibliothèques. Des sites comme l'Internet Archive et l'Open Library fournissent un service public, préservant le patrimoine numérique et offrant un accès à des informations qui pourraient autrement disparaître. S'ils sont contraints de mettre en œuvre des pare-feu d'applications web (WAF) agressifs et des murs de paiement juste pour empêcher les robots d'IA de faire planter leurs serveurs, la mission même du « libre accès » est compromise. Nous assistons à une tragédie des communs où une ressource publique est surexploitée par des intérêts privés.

OpenAI soutient que son utilisation de ces données relève du « fair use » (usage loyal), affirmant que la nature transformatrice de l'IA justifie l'ingestion. Mais d'un point de vue technique, le processus est loin d'être « loyal » envers l'infrastructure. Chaque requête coûte à la bibliothèque de l'électricité, de la bande passante et des cycles CPU. Lorsque ces coûts sont multipliés par les millions de paramètres qu'une IA doit apprendre, le fardeau financier pour la bibliothèque devient insoutenable. C'est pourquoi de nombreux ingénieurs dans le domaine appellent à une nouvelle norme : une version numérique du « droit à l'oubli » qui inclut un « droit d'être ignoré » par les robots d'indexation d'IA.

Affiner la poignée de main entre machine et bibliothèque

Comment résoudre la friction entre les besoins industriels en données et la préservation des bibliothèques numériques ? La solution réside probablement dans une livraison de données basée sur des API plus sophistiquées plutôt que sur le moissonnage par « force brute » que nous observons aujourd'hui. Si OpenAI souhaite accéder aux bibliothèques du monde, l'approche mécanique logique est de construire un pipeline dédié qui respecte la capacité de l'hôte. Au lieu d'envoyer un bot pour « attaquer » le site web public, un accord de données structuré permettrait des transferts contrôlés qui ne perturbent pas le service public.

Cependant, de tels accords coûtent de l'argent et exigent de la transparence, deux choses que la « course aux armements » actuelle de l'IA tend à décourager. Tant que l'objectif sera de construire le plus grand modèle dans les délais les plus courts, l'incitation sera toujours de moissonner d'abord et de régler le litige devant les tribunaux plus tard. Le comportement « voyou » de ces bots n'est pas un bug dans le système ; c'est une fonctionnalité d'un cycle de développement qui privilégie la vitesse sur la durabilité.

Noah Brooks

Noah Brooks

Mapping the interface of robotics and human industry.

Georgia Institute of Technology • Atlanta, GA

Readers

Readers Questions Answered

Q Qu'est-ce que GPTBot et comment son comportement impacte-t-il les archives numériques ?
A GPTBot est le robot d'indexation spécialisé d'OpenAI utilisé pour collecter des données destinées à l'entraînement de ses modèles d'IA. D'un point de vue technique, il fonctionne comme un collecteur industriel. S'il n'est pas correctement limité en termes de débit, GPTBot peut exécuter des volumes massifs de requêtes récursives qui imitent une attaque par déni de service distribué. Ce comportement agressif peut submerger l'infrastructure serveur des bibliothèques numériques publiques, provoquant des pannes système et augmentant les coûts opérationnels liés à la bande passante, aux cycles processeur et à l'électricité.
Q Comment OpenAI s'est-il défendu contre les allégations selon lesquelles ses modèles reproduisent du contenu protégé par le droit d'auteur ?
A OpenAI a fait valoir que ses modèles ont été manipulés pour produire des contenus contrefaisants par ce qu'il décrit comme du piratage ou des invites trompeuses. Dans des documents juridiques, l'entreprise a suggéré que les plaignants ont ciblé des vulnérabilités en utilisant des requêtes spécifiques conçues pour contourner les protections. Cependant, de nombreux experts soutiennent que si un modèle fournit des extraits textuels sur demande, cela met en évidence une défaillance lors de la phase d'entraînement à empêcher la récupération intégrale du texte, plutôt qu'un piratage malveillant de la part de l'utilisateur.
Q Pourquoi la collecte de données par l'IA est-elle décrite comme une tragédie des communs pour les bibliothèques numériques ?
A Ce terme fait référence à la surexploitation des ressources publiques partagées par des intérêts privés. Des organisations comme l'Internet Archive offrent un accès libre à l'information pour le bien public. Lorsque les entreprises d'IA utilisent un scraping agressif pour ingérer ces données à des fins lucratives, elles imposent de lourdes charges techniques et financières à ces organismes à but non lucratif. Les bibliothèques sont souvent contraintes de consacrer des ressources limitées à des pare-feux défensifs et à une capacité serveur accrue simplement pour résister au volume des requêtes automatisées.
Q Quelles alternatives techniques existent pour remplacer le web scraping traditionnel par force brute ?
A Pour réduire les frictions entre les développeurs d'IA et les hébergeurs de données, les experts suggèrent de s'orienter vers une distribution de données basée sur des API et des accords sur les données structurées. Cette approche implique la création de pipelines dédiés pour des transferts de données contrôlés qui ne perturbent pas les services destinés au public. De plus, les ingénieurs appellent à de nouvelles normes numériques permettant aux dépôts de données de refuser l'entraînement par l'IA, donnant ainsi aux créateurs de contenu un droit effectif d'être ignorés par les robots d'indexation automatisés afin de protéger leur infrastructure et leur propriété intellectuelle.

Have a question about this article?

Questions are reviewed before publishing. We'll answer the best ones!

Comments

No comments yet. Be the first!