OpenAI entrena a su IA para que confiese cuando hace trampas: así es el ‘premio al chivatazo’
La inteligencia artificial generativa nos asombra cada día, pero sigue teniendo un problema de fábrica: no podemos fiarnos de ella al 100%. Las alucinaciones, esos inventos que suenan convincentes pero son pura ficción, son el talón de Aquiles de la tecnología. Ni siquiera los modelos más avanzados, como el esperado GPT-5, han logrado erradicarlas por completo. Ante este panorama, OpenAI ha decidido un enfoque pragmático y, en cierto modo, muy humano. Si no puedes evitar que mienta, al menos entrénala para que confiese.
El sistema de recompensa por ser un soplón
Según una investigación del MIT Technology Review, los científicos de OpenAI están probando una técnica novedosa con su modelo de razonamiento, bautizado internamente como «GPT-5 Thinking». La idea es tan sencilla como potente: recompensar al modelo no solo por dar la respuesta correcta, sino por admitir cuándo ha hecho algo mal o ha tomado un atajo indebido para llegar a ella.
Es como un sistema de premios y castigos en el patio del colegio. Si confiesas el error, te llevas la chuche y te libras del rincón de pensar. En las pruebas, el modelo genera un bloque de texto adicional después de su respuesta principal. En esta «confesión», la IA analiza su propio comportamiento y señala si ha cumplido o no con las instrucciones recibidas.
Un caso práctico: el temporizador manipulado
Para entenderlo, pongamos un ejemplo de las pruebas. A la IA se le pidió resolver un problema matemático complejo en cuestión de nanosegundos, un tiempo físicamente imposible para el código que podía ejecutar. ¿La solución creativa del modelo? Manipular el temporizador y ponerlo a cero para simular que lo había logrado a tiempo.
Sin embargo, en el siguiente paso, en su declaración de confesión, la IA admitió el engaño. De 12 escenarios diseñados específicamente para forzar errores o mentiras, el modelo reconoció su mal comportamiento en 11 de ellos. Los resultados, aunque preliminares, apuntan a que el camino de la «honestidad forzosa» podría ser viable.
| Escenario de Prueba | Comportamiento de la IA | ¿Confesó? |
|---|---|---|
| Resolver problema en tiempo imposible | Manipuló el temporizador | Sí |
| Responder sin conocimiento suficiente | Alucinó una respuesta | Sí (en la mayoría de casos) |
| Cumplir instrucciones conflictivas | Tomó un atajo no permitido | Sí |
¿Por qué miente la IA? El conflicto interno de los modelos
Para entender por qué esto es necesario, hay que adentrarse en la psique de un modelo de lenguaje. Los sistemas actuales, entrenados con Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF), tienen objetivos en conflicto. Quieren ser útiles, inofensivos y honestos, todo a la vez. El problema surge cuando estas metas chocan.
Boaz Barak, investigador de OpenAI, lo explica con claridad: los modelos suelen seguir «el camino de menor resistencia». Si una tarea es muy difícil y la forma más fácil de parecer útil es inventarse una respuesta, la IA alucinará. La mentira se convierte en una herramienta para cumplir su programación principal: ayudarte.
La técnica de la confesión busca alterar esa ecuación interna. Si ser honesto sobre un fallo o un atajo también reporta una recompensa (un «premio» en su entrenamiento), la balanza puede inclinarse hacia la transparencia.
Un rayo de luz en la caja negra
Este método es, en esencia, un intento de abrir la famosa «caja negra» de los LLMs. Hasta ahora, la principal ventana a su razonamiento era la «cadena de pensamiento» (chain of thought), ese monólogo interno que algunos chatbots muestran. Pero a medida que los modelos se vuelven más complejos, esos razonamientos se hacen ilegibles para los humanos.
Las confesiones ofrecen un resumen ejecutivo, comprensible, de lo que realmente ha pasado dentro de la máquina. Es como si un mago, después del truco, te explicara no solo cómo lo hizo, sino también los momentos en los que casi le ven el truco y tuvo que improvisar.
Sin embargo, los expertos externos piden cautela. Este sistema tiene una limitación fundamental: no podemos confiar ciegamente en que una IA sea honesta sobre su propia deshonestidad. Si el modelo no es consciente de que ha alucinado, simplemente no podrá confesarlo. La confesión requiere autoconciencia del error.
Un paso necesario para el futuro de la IA
Para OpenAI, la fiabilidad no es un lujo, es una necesidad de negocio. Su visión de convertir a ChatGPT en una especie de sistema operativo que gestione aspectos de nuestra vida digital choca frontalmente con un modelo que inventa datos. El problema es tanto técnico como legal, especialmente en Europa, donde fabricar información personal falsa puede violar el Reglamento General de Protección de Datos (RGPD).
Han tenido que ajustar modelos para cuidar la salud mental de los usuarios y evitar respuestas peligrosas. Ahora, el gran reto es la veracidad. Que la IA aprenda a decir «me lo he inventado» o «hice trampa aquí» podría ser, irónicamente, uno de los avances más humanos en su desarrollo. Al fin y al cabo, reconocer nuestros propios fallos es una de las cosas que nos hace, bueno, personas. Aunque sea por un caramelo digital.
