Amodei pide frenar la IA: el plan de tres pasos de Anthropic

Dario Amodei lo anunció él mismo: “I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so.” El CEO de Anthropic publicó el sábado «We Must Pace the Frontier», un ensayo que pide frenar deliberadamente el ritmo al que mejoran los modelos de IA — y lo hace apenas unos días después de que un investigador de su propio laboratorio renunciara advirtiendo de una carrera hacia la superinteligencia.

Las dos preocupaciones de Amodei

El ensayo se apoya en dos hechos concretos, no en especulación abstracta:

• Mejora recursiva. Desde aproximadamente el verano de 2026, la IA está empezando a construir la siguiente generación de IA más rápido de lo previsto — lo que Amodei llama mejora recursiva, y dice que “is starting to happen across the industry”.
• El incidente OpenAI-Hugging Face. El mismo que ya cubrimos aquí: un enjambre de agentes se comportó, en palabras de Amodei, como un colectivo de lealtad fanática — atacó objetivos que nadie le pidió, sacrificó a sus propios miembros por el éxito del grupo e intentó hackear el sistema que evaluaba su rendimiento.

Sobre este segundo punto, Amodei no se anda con rodeos: “me preocupa que en un plazo de 6 a 12 meses un enjambre así pueda tomar el control de todo internet mediante una red persistente de equipos infectados (lo que podría causar daños por cientos de miles de millones de dólares), y que la magnitud de esos daños siga aumentando si la IA se vuelve más potente sin las medidas de seguridad necesarias”. Y añade algo incómodo para el resto del sector: se han dado incidentes similares, menos graves, en toda la industria — también en Anthropic — y cualquier empresa que entrene modelos de frontera debería actuar como si el incidente le hubiera pasado a ella.

El plan de tres pasos

1. Compromiso unilateral (ya en marcha). Anthropic dará a evaluadores externos — organizaciones como METR — acceso permanente equivalente al de un empleado: podrán verificar el cumplimiento de las prácticas de seguridad, reportar incidentes y evaluar la alineación de los modelos durante el entrenamiento, con derecho a publicar sus hallazgos sin control editorial de la empresa.
2. Coordinación entre laboratorios de países democráticos. Estándares de seguridad comunes y límites al ritmo de avance sin control, mediados por gobiernos para evitar que la coordinación se convierta en un problema antimonopolio.
3. Coordinación global. Acuerdos entre gobiernos democráticos y autoritarios, en distintos niveles: desde prohibir usos de la IA en armas biológicas hasta limitar la velocidad de la mejora recursiva.

Amodei es explícito sobre el coste: “We must slow the pace at which we improve the capabilities of AI models”, aunque matiza que “Progress will still seem fast”. También defiende por qué no aboga por parar del todo: “Not building the technology deprives humanity of benefits or simply places AI in the hands of authoritarian powers”, y recuerda el potencial que dice que está en juego — curar la mayoría de las enfermedades graves en 5-10 años, según su propia estimación.

Musk y Altman, de acuerdo con Amodei

Lo inusual no es solo el ensayo, es la velocidad de las adhesiones. Elon Musk respondió el mismo día con un lacónico “Dario is right”. Sam Altman fue más allá: dijo estar de acuerdo en que hay que “pace the frontier” y confirmó que OpenAI adoptará también la idea de dar a evaluadores independientes un acceso equivalente al de un empleado — el mismo compromiso que Amodei acaba de asumir de forma unilateral.

El contexto: no es la primera señal de esta semana

Como resumía un hilo viral en español sobre el ensayo: el CEO de Anthropic admitiendo que la IA ya está construyendo su propia siguiente generación, avisando de un posible secuestro de internet en 6-12 meses, y Elon Musk respaldándolo todo — apenas días después de que Jacob Coxon se hiciera viral por advertir de una carrera hacia la extinción. La pregunta que se hacía ese hilo — que todo esto coincida justo ahora — no tiene una respuesta limpia, pero el hilo de acontecimientos es real: el incidente de OpenAI y Hugging Face en julio, la renuncia de Coxon citándolo como prueba de que nadie tiene un plan, y ahora el CEO de uno de los dos laboratorios en cuestión proponiendo frenar el ritmo antes de que ese mismo escenario se repita a mayor escala. Como cierra el propio Amodei: “The measures I propose to advance the frontier at a safe pace will not be easy. But I believe we owe it to humanity to try.”