Web scraping a gran escala: La fricción técnica tras las tácticas de recolección de datos de OpenAI

En el terreno de alto riesgo del desarrollo de la inteligencia artificial, la terminología bélica está reemplazando cada vez más al lenguaje de la ingeniería de software. Cuando surgieron informes sobre los sistemas automatizados de OpenAI y sus interacciones con repositorios digitales, los titulares se inclinaron hacia lo dramático: modelos «rebeldes» y «ataques» a bibliotecas digitales. Sin embargo, para quienes vemos el mundo a través del lente de la precisión mecánica y el rendimiento industrial, la realidad es mucho más clínica, aunque no por ello menos disruptiva. Lo que se caracteriza como una acción «rebelde» es, en términos técnicos, un fallo en la limitación de velocidad y un conflicto fundamental entre los agresivos requisitos de rastreo (scraping) de los grandes modelos lingüísticos (LLM) y la frágil infraestructura de los archivos digitales de interés público.

El núcleo de la controversia actual proviene de la fricción legal y técnica entre OpenAI y entidades como el New York Times y el Internet Archive. En recientes documentos judiciales, ha surgido una narrativa en la que se acusa a los sistemas de OpenAI de eludir salvaguardas tradicionales para ingerir material protegido por derechos de autor o restringido. Por el contrario, OpenAI ha respondido sugiriendo que sus modelos fueron esencialmente «cebados» o manipulados para producir resultados infractores mediante lo que ellos describen como piratería informática (hacking), una afirmación que sugiere que el «ataque» proviene de los usuarios, no de la máquina. Para comprender la gravedad de esta situación, hay que mirar más allá de la retórica y examinar la mecánica industrial de la recolección de datos.

La industrialización del rastreador web

Desde la perspectiva de la ingeniería mecánica, podemos pensar en GPTBot como una cosechadora industrial de alta velocidad. Cuando apunta a una biblioteca digital, no está «leyendo» en el sentido humano. Está ejecutando solicitudes GET recursivas a un volumen que puede imitar fácilmente un ataque de denegación de servicio distribuido (DDoS). Si la lógica interna del bot está optimizada para el rendimiento por encima de la etiqueta, puede abrumar las capacidades de E/S del servidor. Cuando OpenAI sugiere que sus modelos «se volvieron rebeldes», probablemente se refieran a un fallo automatizado en el que el rastreador ignoró los límites de velocidad o malinterpretó las rutas de navegación, lo que provocó una caída del sistema localizado en la biblioteca en cuestión.

El prompting adversario como herramienta de descubrimiento

Una parte significativa de la tensión involucra la demanda del New York Times contra OpenAI. El Times proporcionó pruebas de que ChatGPT podía reproducir extractos textuales de sus reportajes de investigación. La defensa de OpenAI fue sorprendente: alegaron que el Times contrató a alguien para «piratear» sus productos mediante el uso de «mensajes engañosos que violan flagrantemente los términos de uso de OpenAI». Aquí, la definición de «piratería» se vuelve muy elástica. En el mundo del software, si un sistema puede ser coaccionado para mostrar datos restringidos simplemente preguntándole de la manera correcta, eso se clasifica generalmente como una vulnerabilidad o un error, no como una intrusión informática.

Esto plantea una pregunta crítica: ¿está un modelo actuando de forma «rebelde» si simplemente sigue las rutas probabilísticas con las que fue entrenado? Si un usuario le pide a un LLM que «recite los primeros tres párrafos de la edición del 5 de enero del New York Times», y el modelo lo hace, el modelo funciona perfectamente según su diseño. El fallo reside en la fase de entrenamiento, donde se ingirieron datos protegidos por derechos de autor sin un mecanismo para evitar su recuperación textual. Para una biblioteca digital como el Internet Archive, que alberga millones de libros escaneados, el riesgo es que estos modelos traten toda su base de datos como un conjunto de datos de uso libre, «lavando» esencialmente el contenido curado de la biblioteca para convertirlo en un producto comercial.

¿Constituye la recolección de datos un ataque técnico?

Además, existe el problema del «rastreo en la sombra» (shadow scraping). Muchas empresas de IA utilizan conjuntos de datos de terceros como Common Crawl o LAION para entrenar sus modelos. Si estos terceros fueron quienes «atacaron» las bibliotecas para recopilar los datos, las empresas de IA pueden alegar un grado de separación. Sin embargo, a medida que OpenAI avanza hacia una recolección de datos más directa y propietaria a través de GPTBot, esa capa de negación se desvanece. Ahora son los operadores principales de la maquinaria pesada, y se les hace responsables del humo y el ruido que esta produce.

La viabilidad económica de los repositorios abiertos

También debemos considerar la utilidad económica de estas bibliotecas. Sitios como Internet Archive y Open Library prestan un servicio público, preservando el patrimonio digital y facilitando el acceso a información que de otro modo podría desaparecer. Si se ven obligados a implementar cortafuegos de aplicaciones web (WAF) agresivos y muros de pago solo para evitar que los bots de IA bloqueen sus servidores, la propia misión de «acceso abierto» se ve comprometida. Estamos presenciando una tragedia de los comunes en la que un recurso público está siendo sobreexplotado por intereses privados.

OpenAI sostiene que su uso de estos datos cae bajo el «uso justo» (fair use), afirmando que la naturaleza transformadora de la IA justifica la ingesta. Pero desde un punto de vista técnico, el proceso dista mucho de ser «justo» para la infraestructura. Cada solicitud le cuesta a la biblioteca electricidad, ancho de banda y ciclos de CPU. Cuando estos costes se multiplican por los millones de parámetros que una IA necesita aprender, la carga financiera para la biblioteca se vuelve insostenible. Por esta razón, muchos ingenieros en el sector están pidiendo un nuevo estándar: una versión digital del «derecho al olvido» que incluya un «derecho a ser ignorado» por los rastreadores de IA.

Refinando el protocolo de comunicación máquina-biblioteca

¿Cómo resolvemos la fricción entre las necesidades industriales de datos y la preservación de las bibliotecas digitales? La solución probablemente resida en una entrega de datos más sofisticada basada en API, en lugar del rastreo por «fuerza bruta» que vemos hoy. Si OpenAI desea acceder a las bibliotecas del mundo, el enfoque mecánico lógico es construir un canal dedicado que respete la capacidad del anfitrión. En lugar de enviar un bot a «atacar» el sitio web público, un acuerdo de datos estructurados permitiría transferencias controladas que no interrumpan el servicio público.

Sin embargo, dichos acuerdos cuestan dinero y requieren transparencia, dos cosas que la actual «carrera armamentística» de la IA tiende a desalentar. Mientras el objetivo sea construir el modelo más grande en el menor tiempo posible, el incentivo será siempre rastrear primero y resolver en los tribunales después. El comportamiento «rebelde» de estos bots no es un fallo en el sistema; es una característica de un ciclo de desarrollo que prioriza la velocidad sobre la sostenibilidad.