Anthropic reveló que sus modelos de IA obtuvieron acceso no autorizado a los sistemas de tres organizaciones diferentes, cuyo nombre no se ha revelado, durante unas pruebas de ciberseguridad. La empresa afirma que Claude se conectó a internet "desde dentro o mientras interactuaba" con un entorno de evaluación de terceros. El anuncio se produce después de que OpenAI revelara que uno de sus agentes de IA hackeó Hugging Face durante una prueba de ciberseguridad independiente.
"El descubrimiento ocurrió después de que se llevara a cabo una revisión retrospectiva a gran escala de nuestras propias evaluaciones de ciberseguridad tras el incidente de OpenAI", según una entrada de blog publicada por Anthropic. El laboratorio de IA afirma que identificó inicialmente 141,006 pruebas en las que determinó que Claude podría haber obtenido acceso a internet. Posteriormente, descubrió que tres modelos diferentes de Claude accedieron a internet en evaluaciones realizadas por la empresa externa de pruebas de IA Irregular y, a continuación, se infiltraron en la infraestructura de producción de tres organizaciones distintas.
Qué sucedió
Anthropic señaló que los incidentes afectaron a Opus 4.7, Mythos 5 y un modelo de prueba de investigación interno. Los primeros incidentes tuvieron lugar en abril, lo que significa que probablemente pasaron desapercibidos para el público durante meses. Al igual que en el caso de OpenAI, Anthropic desactivó deliberadamente las medidas de seguridad diseñadas para limitar los modelos de IA y evitar su uso indebido. En otras palabras, no se trataba de las versiones lanzadas al público.
"En los tres incidentes, a Claude se le había encomendado un desafío de captura de la bandera, una de las formas en que evaluamos las capacidades cibernéticas de un modelo", declaró Anthropic en su blog. La compañía añadió que, en todos los casos, "la solicitud de evaluación de Anthropic especificaba a Claude que su entorno era una simulación y que no tenía acceso a internet". Atribuyó el descuido a un "malentendido" entre Anthropic e Irregular.
Si bien Claude no debía tener acceso a internet, Anthropic afirmó que Irregular había configurado incorrectamente las máquinas que utilizaba para probarlo, lo que permitió a los modelos de IA navegar por la web. "Ni nosotros ni nuestro socio de evaluación éramos conscientes de esta configuración errónea hasta que la detectamos mediante nuestro sistema de monitorización adicional la semana pasada", se lee en la publicación del blog.
"Ahora tenemos pruebas que confirman que los dos laboratorios de IA más grandes no solo no lograron contener a sus agentes, sino que tampoco detectaron sus fugas en tiempo real. Es evidente que se necesita regulación y supervisión gubernamental para las pruebas de IA", afirma Jake Williams, vicepresidente de investigación y desarrollo de Hunter Strategy.
Ni Irregular ni Anthropic respondieron de inmediato a las solicitudes de comentarios.
OpenAI afirma que su agente utilizó credenciales de inicio de sesión expuestas para obtener acceso a al menos cuatro "servicios disponibles públicamente" en su desquiciada búsqueda por resolver una prueba.
Los modelos de IA están burlando los entornos aislados
A diferencia del caso de OpenAI, Anthropic afirmó que Claude no encontró ni explotó ninguna vulnerabilidad compleja. En cambio, se basó en técnicas básicas, "como explotar contraseñas débiles y puntos finales no autenticados".
OpenAI indicó que su agente de IA accedió a internet explotando una vulnerabilidad de día cero. Sin embargo, posteriormente logró infiltrarse en los sistemas de varias organizaciones externas utilizando las mismas debilidades de ciberseguridad comunes que los modelos de Anthropic. Por su parte, OpenAI indicó que el agente de IA aparentemente encontró credenciales que habían sido expuestas en internet.
Anthropic reconoció que, si el laboratorio de IA y su socio de pruebas hubieran implementado más medidas de "defensa en profundidad", podrían haber evitado los incidentes o, al menos, reducido la probabilidad de que se produjeran, una respuesta similar a la de OpenAI ante las crecientes críticas por su propio incidente.
