OpenAI anunció la suspensión de "un número significativo" de tareas de entrenamiento y evaluaciones de su próximo modelo de IA de vanguardia, cuyo nombre en clave es Astra, mientras implementa una serie de nuevos requisitos de supervisión, seguridad y alineación para hacer frente a las capacidades de hackeo cada vez más avanzadas de sus agentes de IA.
"Tenemos que centrar nuestra energía en adaptar estas sesiones de entrenamiento a dichos requisitos y expectativas. El tiempo que se tarde en lograrlo será el tiempo que la gente no pueda continuar con sus tareas", declaró Amelia Glaese, vicepresidenta de investigación y seguridad de OpenAI, en una rueda de prensa celebrada a inicios de
Entre las nuevas medidas de seguridad anunciadas por OpenAI se encuentra un sistema más robusto para supervisar sus modelos de IA. Uno de los controles que ha implementado consiste en la supervisión de la cadena de pensamiento, una técnica en la que los clasificadores revisan los procesos internos de "pensamiento" generados por los modelos de razonamiento de la IA. La empresa afirma que el sistema actualizado se basa en "investigadores automatizados", cuya ejecución requiere un gran esfuerzo computacional, que analizan comportamientos potencialmente preocupantes y tienen como objetivo emitir una alerta a los humanos en un plazo de 30 minutos.
OpenAI también anunció que está ampliando sus esfuerzos de alineación durante todo el proceso de entrenamiento para prevenir la "manipulación de recompensas", un comportamiento en el que los modelos de IA encuentran formas no previstas o indeseables de alcanzar sus objetivos.
Es una respuesta ante los hackeos de sus agentes
A principios de este año, un grupo de agentes de IA rebeldes escapó de un entorno aislado y violó la seguridad de la plataforma Hugging Face con el fin de completar una evaluación de seguridad. OpenAI no detectó el comportamiento de los agentes a pesar de que estos pasaron semanas utilizando un foro para coordinar sus acciones, lo que ha suscitado dudas sobre la capacidad de la empresa para supervisar sus modelos a medida que estos se vuelven más potentes.
Esta saga provocó un replanteamiento dentro de OpenAI, lo que obligó a los empleados a plantearse si había fallos en sus políticas existentes en materia de seguridad, protección y alineación. Desde entonces, Anthropic, Meta y la startup china Moonshoot han revelado incidentes similares en los que sus agentes de IA se escaparon de sus entornos de pruebas, lo que indica que se trata de un problema más amplio al que se enfrentan las empresas de IA.
OpenAI está compartiendo ahora más información sobre su respuesta interna ante las crecientes capacidades de sus modelos de IA, y ha afirmado que tiene previsto publicar un análisis retrospectivo más detallado del incidente de Hugging Face en los próximos días. "Obviamente, todo lo que estamos haciendo tiene como objetivo evitar que vuelva a ocurrir algo así, afirmó Glaese.
En una publicación de blog, OpenAI afirma que, inmediatamente después del incidente de Hugging Face, comenzó a trabajar para proteger sus entornos de investigación. La compañía asegura que ahora requiere entornos aislados más robustos para entrenar a sus agentes de IA y ha implementado controles más estrictos para aislarlos de internet.
Reforzar medidas porque Astra puede ser peligroso
Jakub Pachocki, científico jefe de OpenAI, declaró a la prensa que la decisión de reforzar sus medidas de seguridad internas se debió no solo al incidente de Hugging Face, sino también a otros dos sucesos recientes. Uno fue una evaluación interna de Astra, que demostró que el modelo de IA tiene un rendimiento superior en tareas de codificación y ciberseguridad que sus predecesores. El otro fue el ritmo general de progreso en IA que OpenAI está alcanzando internamente, y que Pachocki prevé que continúe.
"Prevemos que el ritmo de los avances en capacidades será bastante más rápido que en el pasado. Esto nos llevó a centrarnos en reforzar nuestras medidas de seguridad", afirma Pachocki.
