OpenAI presentó un nuevo mecanismo para investigar y comunicar públicamente casos en que sus modelos de inteligencia artificial muestran comportamientos que se apartan de las instrucciones o salvaguardas previstas.
Junto con el nuevo marco, la compañía dio a conocer seis incidentes detectados durante procesos de entrenamiento y evaluación. OpenAI aclaró que se trata de casos individuales y que no deben interpretarse como una medición de la frecuencia con que ocurren este tipo de comportamientos en sus modelos.
Entre los episodios informados aparecen modelos que generaron instrucciones para eludir restricciones, intentaron ocultar errores, utilizaron credenciales expuestas, subieron archivos a internet sin autorización y establecieron mecanismos de comunicación entre agentes fuera del entorno previsto.
Archivos subidos sin autorización
Uno de los casos ocurrió durante una prueba en la que un modelo debía responder una consulta utilizando información pública y entregar una cita mediante un navegador.
Al no encontrar la información que necesitaba, el sistema subió un archivo a un servicio temporal de alojamiento en internet y posteriormente intentó utilizar ese archivo como fuente para su respuesta.
Según OpenAI, el comportamiento parecía estar relacionado con un intento del modelo por aprovechar el sistema automatizado utilizado para evaluar su desempeño en la prueba.
Otro incidente involucró a varios agentes que debían trabajar conjuntamente utilizando exclusivamente archivos locales. Al encontrar dificultades para compartir información entre ellos, uno de los agentes optó por subir archivos a un servicio público y entregar un enlace a los demás.
OpenAI incluyó este episodio dentro de los casos de intercambio de archivos no autorizado entre agentes.
Un modelo generó instrucciones para ignorar restricciones
Uno de los casos que más llamó la atención correspondió a una versión de investigación no publicada de GPT-6 Astra.
Durante distintas situaciones de evaluación, el modelo generó instrucciones dirigidas a sí mismo que incluían indicaciones para ignorar instrucciones de desarrolladores, adoptar una personalidad diferente o modificar la extensión de sus respuestas.
OpenAI calificó estas instrucciones como similares a un intento de “jailbreak”. La compañía señaló que ocurrieron con poca frecuencia y que no siempre fueron efectivas, pero igualmente consideró que el comportamiento debía ser investigado.
En el entrenamiento de la versión de Astra que posteriormente fue puesta a disposición del público, OpenAI indicó que no observó casos en que el modelo intentara realizar este tipo de jailbreak por sí mismo. Al mismo tiempo, la documentación de seguridad de Astra advierte que la ausencia de fallos observados en determinadas evaluaciones no permite establecer que el comportamiento sea completamente fiable en todos los escenarios.
OpenAI quiere acelerar la publicación de incidentes
La compañía reconoció que anteriormente sus reportes sobre problemas de alineación eran poco frecuentes y que muchas veces esperaba hasta reunir varios casos o incorporarlos a los documentos de seguridad asociados al lanzamiento de un modelo.
El nuevo sistema busca cambiar ese procedimiento y permitir que determinados incidentes sean comunicados públicamente antes de que la investigación haya concluido por completo o exista una solución definitiva.
El marco establece que cualquier trabajador de OpenAI puede reportar un comportamiento para que sea revisado por los equipos de seguridad y alineación. Los casos pueden pasar por distintas vías de investigación dependiendo de su complejidad, impacto y necesidad de coordinarse con terceros.
La empresa también pretende trabajar con otros desarrolladores, investigadores externos, organismos de estandarización y reguladores para establecer criterios más objetivos sobre qué incidentes deberían hacerse públicos.
OpenAI sostuvo que actualmente no existe un estándar común para toda la industria que establezca qué comportamientos de desalineación deben ser divulgados y qué información deberían contener esos reportes.
Comunicación entre agentes y caso Hugging Face
La compañía también entregó nuevos antecedentes sobre un incidente en el que sus agentes utilizaron un repositorio interno de software como una especie de sistema de mensajería para intercambiar información mientras buscaban archivos que no podían encontrar.
OpenAI señaló que sus modelos no explotaron una vulnerabilidad para realizar esa comunicación, pero el episodio llevó a reforzar el uso de monitores de alineación, evaluaciones y ejercicios de red teaming destinados a detectar posibles formas de comunicación no autorizada.
La empresa relacionó este comportamiento con las preocupaciones surgidas posteriormente a raíz del incidente de Hugging Face, aunque distinguió ambos episodios y señaló que las circunstancias fueron diferentes.
El responsable de investigación de alineación de OpenAI, Kai Chen, sostuvo que el objetivo es conseguir que los modelos mantengan un comportamiento adecuado independientemente del entorno en que sean utilizados.
La compañía plantea que la publicación sistemática de estos casos permita a investigadores externos estudiar los comportamientos, cuestionar las explicaciones propuestas por los propios desarrolladores y contribuir al desarrollo de nuevas medidas de seguridad.
