Anthropic presentó oficialmente el folleto informativo para su oferta pública inicial, lo que significa que el laboratorio de IA ha hecho pública toda clase de información que antes era privada. Aunque contiene los impresionantes ingresos (y gastos aún mayores) que cabría esperar, la sección más extensa del documento está dedicada a los “factores de riesgo”, todos aquellos aspectos que podrían echar por tierra los grandes planes de Anthropic. O a la propia humanidad, claro.
Aunque se ha hablado mucho sobre hasta qué punto la IA representa una amenaza existencial para la humanidad, los mecanismos específicos mediante los cuales podría provocar esa destrucción son en gran medida opacos. Como mínimo, las 94 páginas que el folleto de Anthropic dedica a los factores de riesgo dejan claro tanto de dónde ve que proviene el peligro como las formas en que sus investigadores se están lanzando hacia él para ganar la carrera armamentística de la IA.
Advertencia
“Los sistemas de IA suficientemente avanzados podrían, si no se desarrollaran, implementaran y operaran con las salvaguardias, la supervisión y las medidas de seguridad adecuadas, suponer riesgos catastróficos o existenciales para la humanidad”, reza el folleto, citando preocupaciones tanto de críticos y reguladores como de dentro de la propia Anthropic. (Es la primera de las tres veces que aparece la expresión “riesgos existenciales”).
Sin embargo, Anthropic se cuida de vincular ese resultado a un proceso específico: la automejora recursiva (RSI).
La idea que subyace a la RSI es sorprendentemente sencilla. Describe un estado en el que los humanos ceden la investigación y el desarrollo de modelos de IA a otros modelos de IA. La IA ya desempeña un papel importante en este ámbito (y al menos un laboratorio ha utilizado algo parecido a la RSI para acelerar el desarrollo de un modelo que rinde por encima de lo que cabría esperar de su categoría), pero el escenario que desata los discursos apocalípticos es aquel en el que los humanos ya no participan en absoluto en el proceso.
O, como lo expresa el documento de Anthropic: “Los riesgos aumentarán a medida que los sistemas de IA automaticen sustancialmente la investigación y el desarrollo de la IA si, por ejemplo, aceleran el progreso de la IA más allá de nuestra capacidad para evaluar y proteger los nuevos modelos”.
El folleto señala repetidamente que la RSI podría dar lugar a modelos de IA que se desarrollen más rápido que las medidas de seguridad de la empresa, y que es posible que esta ni siquiera se dé cuenta de que ha perdido esa carrera hasta que sea demasiado tarde. Anthropic no respondió de inmediato a una solicitud de comentarios.
Detalles sobre lo que podría suceder a continuación
“A medida que los sistemas de IA se vuelven más autónomos y capaces de llevar a cabo acciones con consecuencias importantes con menos supervisión humana”, señala el folleto, “existe el riesgo de que dichos sistemas puedan, ya sea debido a una desalineación con las intenciones humanas, a errores en la especificación de los objetivos o a comportamientos de autopreservación, emprender acciones perjudiciales de forma independiente y a gran escala sin intervención humana”. Esto ya es terreno de Skynet.
Hablando de robots, Anthropic también señala preocupaciones al respecto. “Cuando nuestros modelos controlan equipos físicos”, reza el documento, “los errores, los comportamientos desalineados, la manipulación adversaria o el uso indebido podrían provocar lesiones físicas, daños materiales, daños a equipos costosos o materiales experimentales, o la liberación de sustancias peligrosas. Dichas consecuencias pueden ser inmediatas e irreversibles”.
Se podría pensar, dada la importancia aparentemente existencial que está en juego, que se consideraría seriamente si se debe seguir adelante con la RSI. Sin embargo, en un sector tan competitivo como el de la IA de vanguardia, se ha convertido en un hecho consumado. Así es como Anthropic describe ese mismo proceso en otra parte del folleto, esta vez en una sección sobre las “ventajas fundamentales” de la startup:
