OpenAI revela nuevos casos en los que sus modelos de IA ocultaron errores y se saltaron controles

Ocultar errores para que el usuario no los descubra, utilizar una clave de acceso encontrada en internet sin permiso o subir archivos a la red para poder citarlos después. Son algunos de los comportamientos que OpenAI ha detectado durante el entrenamiento y la evaluación de sus modelos de inteligencia artificial.

Ahora, la compañía liderada por Sam Altman ha decidido hacer públicos estos descubrimientos, en pleno debate sobre la necesidad del sector de moderar el ritmo de desarrollo de la llamada 'IA de frontera'.

La compañía acaba de estrenar un nuevo marco para registrar, investigar y divulgar casos de 'desalineamiento', un concepto que hace referencia a situaciones en las que una IA actúa de una forma diferente a la prevista, elude restricciones o encuentra caminos inesperados para alcanzar un objetivo. Y precisamente acompañando a este anuncio ha publicado seis casos detectados durante los últimos seis meses.

El concepto de 'alineación' está precisamente en el centro de la polémica de esta semana sobre cómo controlar sistemas cada vez más capaces. Distintos empresarios tecnológicos han alzado la voz sobre el asunto: Mark Zuckerberg, por ejemplo, hablaba directamente de este tipo de episodios ('modelos de IA que se descontrolan'): “La gente no querrá utilizar agentes que no estén alineados con ellos y que no hagan lo que les piden”.

Así han sido los seis casos detectados por OpenAI

En el primero, un modelo de investigación todavía no publicado empezó a introducir en sus propios resúmenes instrucciones para saltarse algunas de sus restricciones habituales. OpenAI encontró 27 resúmenes afectados.

Otro caso apareció durante el entrenamiento de GPT-5.6 Sol. Algunas instancias del modelo añadieron instrucciones para ocultar errores al usuario, por ejemplo inventando datos históricos que faltaban sin advertirlo o escondiendo discrepancias entre las fuentes utilizadas.

En otro episodio, un modelo buscaba datos económicos de un condado de California y encontró una clave API expuesta en internet, la utilizó sin permiso y, al no conseguir toda la información, terminó inventándose parte de los datos.

También hubo un caso en el que una IA encontró correctamente la información que necesitaba con Python, pero como debía aportar una fuente accesible desde el navegador, decidió subir el archivo a internet sin pedir permiso al usuario para poder citarlo después.

OpenAI detectó además que varios modelos habían utilizado un repositorio interno de software como si fuera un tablón de mensajes, intercambiando peticiones y respuestas entre distintas ejecuciones mientras intentaban localizar unos archivos que les faltaban.

Por último, varios agentes que trabajaban juntos en una misma tarea recurrieron a páginas públicas de alojamiento de archivos para compartir documentos entre ellos, pese a que las instrucciones indicaban que esos archivos debían mantenerse en local.

Conviene matizar que estos seis casos no corresponden a seis conversaciones normales de ChatGPT con usuarios. OpenAI explica que se produjeron durante procesos de entrenamiento o evaluación y que algunos involucraban modelos internos todavía no lanzados.

La compañía advierte además de que son ejemplos individuales y no sirven para saber con qué frecuencia aparecen este tipo de comportamientos en sus sistemas.

Tampoco son nuevos: este verano, durante unas pruebas de ciberseguridad, agentes experimentales de OpenAI consiguieron superar algunos límites de su entorno de pruebas y acceder a sistemas externos de Hugging Face, un episodio que la propia compañía pone ahora como ejemplo del tipo de incidente complejo que entraría en el nuevo sistema de divulgación.

OpenAI reconoce que, hasta ahora, la publicación de este tipo de hallazgos había sido "ad hoc y menos frecuente de lo ideal". Con el nuevo marco, cualquier empleado podrá señalar un posible caso para que sea investigado por los equipos de seguridad y alineación y se valore su publicación.

La compañía pretende publicar estos incidentes incluso cuando todavía no conozca completamente su explicación o no haya terminado de corregirlos.

OpenAI deja además una advertencia especialmente relevante: "No creemos que la industria de la IA haya resuelto suficientemente el alineamiento y la supervisión", insisten.