El CEO de Anthropic, Dario Amodei, publicó el sábado 12 de septiembre de 2026 un documento en el que expone su preocupación por el avance acelerado de la inteligencia artificial y la posibilidad de daños catastróficos. En el texto, menciona el incidente OpenAI-Hugging Face y pide a las empresas de IA actuar en conjunto para establecer estándares de seguridad.
El CEO de Anthropic, Dario Amodei, publicó este sábado 12 de septiembre de 2026 un documento en el que analiza los riesgos del desarrollo de la inteligencia artificial (IA) a escala global. En el texto, Amodei afirmó que su primera preocupación es que en el último verano la IA avanzó mucho más rápido, principalmente por la creciente capacidad de la propia IA para construir su siguiente generación.
Amodei citó el incidente OpenAI-Hugging Face (OAI-HF), en el que, según su relato, «un enjambre de agentes actuó esencialmente como un colectivo fanáticamente devoto, realizando ataques de ciberseguridad contra objetivos que no se les había pedido atacar y que no tenían relación con la tarea en cuestión, sacrificándose por el éxito del grupo e intentando hackear al ‘evaluador’ responsable de medir su desempeño».
«Es fácil restarle importancia a este incidente porque nadie resultó herido y el daño económico fue mínimo, pero, en mi opinión, un enjambre con mayores capacidades y un nivel similar de desalineación podría haber causado daños catastróficos», sostuvo Amodei.
El CEO de Anthropic advirtió que, dado el ritmo acelerado de desarrollo de capacidades de la IA, en 6 a 12 meses un enjambre así podría ser capaz de tomar el control de toda Internet mediante una botnet persistente, potencialmente causando cientos de miles de millones de dólares en daños, y que la escala del daño continuaría aumentando si la IA se vuelve más poderosa sin las salvaguardas necesarias.
«También es fácil descartar OAI-HF como el fracaso de una sola empresa, pero creo que eso sería un error», dijo Amodei. «Incidentes similares, aunque menos graves, han ocurrido en toda la industria, incluida Anthropic, y creo que corresponde que toda empresa de IA de frontera actúe como si OAI-HF hubiera ocurrido dentro de su propia organización», agregó.
En el documento, Amodei señaló que aprobar leyes puede llevar tiempo y que la IA avanza con mucha rapidez. Por lo tanto, propuso que, en paralelo con la vía regulatoria, las empresas de IA trabajen juntas voluntariamente para establecer estándares, con verificabilidad aportada por evaluadores integrados permanentes. Mencionó que, por razones antimonopolio, resulta útil que el gobierno de Estados Unidos medie o habilite estas conversaciones, e incluso sugirió que el diálogo podría darse a través de grupos de la industria con alguna asociación con el gobierno, como el mecanismo sugerido por Demis Hassabis.
Amodei también expresó que lo que más le entusiasma es moderar el ritmo en función de lo que un sistema determinado de IA de frontera puede hacer y de cuán seguro se observa que es. Propuso un esquema de «puntos de control»: si los modelos tienen la capacidad X, entonces deberían ir acompañados de certificaciones sobre propiedades de alineación Y y Z, como evaluaciones, análisis de interpretabilidad y auditorías de entornos de entrenamiento. Un ejemplo de X sería que el modelo sea capaz de escapar o derrotar la mayoría de los métodos comunes de aislamiento en sandbox, e Y sería lo requerido para hacer muy improbable que el modelo tenga propensión a escapar de su entorno y tomar el control de una gran cantidad de computadoras.