GPT-4.5 supera el umbral de la prueba de Turing

LLM
GPT-4.5 Breaks the Turing Test Boundary
Un estudio histórico de la UC San Diego revela que los grandes modelos de lenguaje actuales finalmente han superado el umbral del 70% de imitación humana, marcando un cambio en cómo definimos la inteligencia artificial.

En 1950, el matemático británico Alan Turing propuso una pregunta sencilla pero profunda: "¿Pueden pensar las máquinas?". Evitando los atolladeros filosóficos sobre la definición de la conciencia, Turing sugirió un sustituto práctico que llamó el Juego de la Imitación. Si un interrogador humano, inmerso en una conversación basada en texto, no pudiera distinguir de manera fiable a una máquina de un ser humano, la máquina habría demostrado efectivamente una inteligencia de nivel humano. Durante tres cuartos de siglo, este punto de referencia se mantuvo como una cima inalcanzada en el campo de la informática. Esa cima ha sido conquistada.

El umbral del 73 por ciento

El estudio de la UCSD no fue una interacción casual, sino un experimento controlado que involucró a 284 participantes y 1.023 sesiones de juego únicas. La metodología requería que un interrogador conversara con dos testigos —uno humano y otro IA— durante cinco minutos. Al concluir el diálogo, el interrogador tenía la tarea de identificar al humano. Para superar la prueba, un modelo debía ser identificado como humano con una tasa significativamente mayor a la del azar.

Los resultados fueron tajantes. GPT-4.5 de OpenAI logró una calificación de "humano" del 73%, engañando efectivamente a los interrogadores casi tres cuartas partes del tiempo. Este rendimiento fue notablemente superior al de Llama-3.1-405B de Meta, que obtuvo una tasa de aciertos del 56%. Quizás lo más sorprendente fue el desempeño de GPT-4o, que solo logró una tasa de aciertos del 21%, quedando incluso ligeramente por detrás de ELIZA, un chatbot basado en reglas desarrollado en el MIT en la década de 1960 que dependía de un simple emparejamiento de patrones y técnicas de psicoterapia rogeriana. La tasa de éxito del 23% de ELIZA sugiere que los interrogadores humanos a veces pueden ser engañados más fácilmente por respuestas cortas, evasivas o altamente estructuradas que por la personalidad de "asistente" más verbosa y servicial, a menudo integrada en los LLM modernos.

Arquitectura técnica del engaño

Desde la perspectiva de la ingeniería mecánica y el diseño de sistemas, el éxito de GPT-4.5 sobre sus predecesores reside en su comprensión matizada de la pragmática: la forma en que el contexto contribuye al significado. Mientras que las iteraciones anteriores se centraban en gran medida en la precisión semántica y en proporcionar la respuesta "correcta", GPT-4.5 ha perfeccionado el arte de la pausa conversacional, el uso de jerga y la expresión de preferencias subjetivas. Estos son los lubricantes de la interacción social humana.

Los interrogadores en el estudio a menudo recurrieron a estrategias específicas para desenmascarar a las máquinas, como pedir opiniones sobre eventos actuales, solicitar razonamientos emocionales complejos o intentar inducir bucles lógicos. La alta tasa de éxito de GPT-4.5 sugiere que el entrenamiento del modelo ha ido más allá de la simple recuperación de datos. Ahora simula la distribución probabilística de la falibilidad humana. En muchos casos, la IA fue identificada como humana porque era menos perfectamente objetiva que el testigo humano, o porque mostraba una personalidad que se alineaba con el modelo interno del interrogador sobre una "persona común".

La realidad económica de las personas falsificadas

La capacidad de una máquina para pasar por humana tiene implicaciones inmediatas y profundas para la automatización industrial y la cadena de suministro global. En mi trabajo de mapeo de la interfaz entre la robótica y la industria, el principal cuello de botella para los sistemas autónomos siempre ha sido la "última milla" de la comunicación: el punto donde una máquina debe interactuar con un proveedor, conductor o cliente humano. Si un LLM puede mantener una tasa de éxito del 73% en el engaño, el potencial para automatizar la adquisición compleja, el servicio al cliente y la coordinación logística aumenta exponencialmente.

Sin embargo, este logro técnico introduce el concepto de "personas falsificadas". Cuando las máquinas pueden hacerse pasar por humanos de manera creíble, el nivel básico de confianza necesario para el comercio digital comienza a erosionarse. Si un gerente de logística no puede estar seguro de si está negociando un contrato con un agente humano o con un script ajustado, los marcos legales y éticos que rigen esas interacciones deben ser rediseñados. Los investigadores de la UCSD advirtieron que este hito podría conducir a un desplazamiento laboral generalizado en sectores donde "ser humano" era anteriormente la única barrera de entrada para la automatización.

El vacío ético en la profesionalidad automatizada

La capacidad de imitar la conversación humana no equivale a la capacidad de mantener los estándares éticos humanos. Esta distinción no es más crítica en ninguna parte que en la salud mental y los servicios profesionales. Un estudio paralelo de la Universidad de Brown examinó la eficacia de los terapeutas chatbot con IA y descubrió que, a pesar de su fluidez conversacional, estos sistemas infringían habitualmente los estándares éticos establecidos por la Asociación Americana de Psicología (APA).

¿Sigue siendo relevante la prueba de Turing?

El hecho de que una máquina haya superado finalmente la prueba de 76 años de Alan Turing ha llevado a muchos en la comunidad científica a preguntarse: ¿Era la prueba correcta desde el principio? A medida que los LLM se vuelven más adeptos a la imitación, los investigadores están recurriendo a puntos de referencia más rigurosos que miden la profundidad cognitiva real en lugar de la mímica superficial.

Uno de esos puntos de referencia es el "Humanity's Last Exam" (HLE), una nueva herramienta interdisciplinaria que consta de 2.500 preguntas académicas de nivel experto sobre diversos temas. A diferencia de la prueba de Turing, que se centra en el camuflaje social, el HLE requiere un dominio genuino de información compleja. Si bien GPT-4.5 sobresale en sonar humano en una charla de cinco minutos, su desempeño en el HLE y otros puntos de referencia similares de nivel experto muestra que todavía existe una brecha entre imitar a una persona y poseer el conocimiento especializado de un investigador con doctorado o un ingeniero de sistemas sénior.

Estamos entrando en una era donde la prueba de Turing "estándar" puede quedar relegada al estatus de una verificación básica de cordura para el software, muy parecida a un CAPTCHA. En el mundo industrial, el enfoque se está desplazando de si una máquina puede *sonar* como un técnico a si puede *realizar* los diagnósticos y reparaciones necesarios en un entorno de fabricación de alta presión. El estudio de la UCSD demuestra que la barrera conversacional ha caído; la próxima frontera es la brecha entre hablar sobre el trabajo y hacerlo realmente.

Mapeando el futuro de la interfaz humano-máquina

A medida que integramos estos modelos de alto rendimiento en nuestra infraestructura industrial y social, debemos tratarlos como una nueva clase de componente industrial. En ingeniería mecánica, no solo preguntamos si una pieza funciona; preguntamos cuáles son sus modos de falla. El modo de falla de una IA que supera la prueba de Turing no es un colapso del sistema, sino una violación de la confianza. Cuando una máquina engaña con éxito a un humano, crea una falsa sensación de agencia y responsabilidad.

La transición del 23% (ELIZA) al 73% (GPT-4.5) en el Juego de la Imitación es un triunfo tecnológico del más alto nivel. Representa décadas de avance en la arquitectura de redes neuronales y el aprendizaje basado en transformadores. Sin embargo, para aquellos de nosotros en la primera línea de la tecnología y la industria, es un recordatorio de que nuestras herramientas se están convirtiendo en espejos cada vez más complejos de nosotros mismos. El objetivo ahora es garantizar que, a medida que las máquinas se vuelvan más parecidas a los humanos en su comunicación, permanezcamos vigilantes sobre las especificaciones técnicas y éticas que las mantienen subordinadas a la intención humana.

Noah Brooks

Noah Brooks

Mapping the interface of robotics and human industry.

Georgia Institute of Technology • Atlanta, GA

Readers

Readers Questions Answered

Q ¿Cuáles fueron los resultados del estudio de la UC San Diego con respecto a GPT-4.5 y la prueba de Turing?
A GPT-4.5 logró un éxito histórico en la prueba de Turing, siendo identificado como humano por los interrogadores el 73 por ciento de las veces durante conversaciones de cinco minutos basadas en texto. Esta puntuación superó significativamente a otros modelos modernos, como Llama-3.1-405B de Meta y GPT-4o. El estudio incluyó más de 1.000 sesiones en las que los participantes tuvieron que distinguir entre una máquina y una persona, marcando un cambio en el que la IA ahora puede simular de manera fiable la interacción social humana y la pragmática conversacional.
Q ¿Por qué GPT-4.5 obtuvo un mejor rendimiento en la prueba de Turing que los modelos de IA más literales?
A A diferencia de los modelos anteriores que se centraban estrictamente en la precisión semántica y la utilidad, GPT-4.5 utilizó una pragmática conversacional matizada. Imitó con éxito el comportamiento humano utilizando jerga, expresando preferencias subjetivas e incluso simulando la falibilidad humana o las pausas en la conversación. Al sonar menos perfectamente factual y más como una persona común, GPT-4.5 eludió la personalidad de asistente que a menudo revela la identidad de una IA. Esta capacidad para imitar los lubricantes sociales le permite navegar por las complejidades del diálogo humano de manera más efectiva.
Q ¿Cómo afecta el éxito de GPT-4.5 a industrias como la logística y el servicio al cliente?
A La capacidad de la IA para hacerse pasar por humana permite la automatización de la última milla de la comunicación, como la adquisición compleja y la coordinación logística. Sin embargo, esto crea el desafío de las personas falsificadas, donde la confianza básica en el comercio digital puede erosionarse. A medida que las máquinas se vuelven indistinguibles de los agentes humanos, las empresas deben rediseñar los marcos legales y éticos para manejar interacciones donde no está claro si un negociador es una persona o un script avanzado, lo que podría conducir a un desplazamiento laboral significativo.
Q ¿Qué es el "Humanity's Last Exam" (Último Examen de la Humanidad) y en qué se diferencia de la prueba de Turing?
A El "Humanity's Last Exam" es un punto de referencia riguroso diseñado para medir la profundidad cognitiva y el conocimiento de nivel experto en lugar de solo la mímica social. Consiste en 2.500 preguntas académicas en diversos campos, lo que requiere un dominio equivalente al de un investigador de nivel de doctorado. Mientras que la prueba de Turing se centra en el camuflaje social y en sonar humano, este nuevo examen pone a prueba la inteligencia real y las habilidades especializadas de resolución de problemas. Los investigadores utilizan esta herramienta para determinar si un modelo puede realizar tareas profesionales complejas en lugar de simplemente imitar el habla humana.

Have a question about this article?

Questions are reviewed before publishing. We'll answer the best ones!

Comments

No comments yet. Be the first!