DARIO AMODEI: CAMINAR POR LA FRONTERA
DEBEMOS CAMINAR POR LA FRONTERA
La propuesta de Dario Amodei para acompasar el avance de la IA con su seguridad
Dario Amodei parte de una aparente contradicción: considera que la inteligencia artificial podría producir enormes beneficios para la humanidad, particularmente en medicina, ciencia y productividad, pero sostiene que el crecimiento reciente de sus capacidades comienza a avanzar más rápidamente que nuestra capacidad para comprenderlas, evaluarlas y controlarlas.
Por ello, en su ensayo de septiembre de 2026 We Must Pace the Frontier, no propone detener el desarrollo de la IA. Su propuesta es más específica: reducir deliberadamente el ritmo de crecimiento de las capacidades de los modelos de frontera para dar tiempo a que la seguridad, la alineación, la interpretabilidad y las evaluaciones puedan mantenerse a la par. Amodei considera que incluso uno o dos años adicionales podrían ser importantes para mejorar estos mecanismos.
¿Por qué propone disminuir el ritmo?
Amodei señala dos razones principales. La primera es que observa una creciente participación de la propia IA en la construcción de nuevas generaciones de IA, dinámica que denomina superación recursiva. La segunda son incidentes recientes con agentes que habrían mostrado comportamientos no previstos o desalineados. A su juicio, sistemas futuros con capacidades mucho mayores podrían convertir fallos actualmente limitados en problemas considerablemente más graves.
Esto debe leerse con una distinción importante: son la interpretación y la proyección de Amodei sobre la evolución de estos acontecimientos. El documento no demuestra que vaya a producirse una singularidad ni una pérdida catastrófica de control.
Su propuesta concreta: tres pasos
El núcleo del documento es un plan en tres niveles.
1. Evaluadores externos integrados en las empresas. Amodei propone que cada empresa que desarrolla IA de frontera permita acceso continuo a equipos externos e independientes —menciona como ejemplo a METR— para observar modelos, procesos de entrenamiento, prácticas de seguridad e incidentes. No serían visitantes ocasionales: tendrían un acceso comparable, en aspectos relevantes, al de los equipos internos. Su función sería verificar, informar y proporcionar una segunda opinión independiente. Anthropic declara en el documento que se compromete unilateralmente a comenzar este mecanismo.
2. Coordinación entre empresas y gobiernos. El segundo nivel consistiría en establecer estándares comunes y puntos de control. La idea es sencilla: cuando un modelo alcance determinada capacidad, debería demostrar también determinados niveles de seguridad, alineación y evaluación antes de continuar avanzando. Es decir:
MAYOR CAPACIDAD → MAYORES EXIGENCIAS DE SEGURIDAD
Amodei considera que esto requeriría coordinación industrial y, en determinados casos, regulación gubernamental.
3. Coordinación global. El tercer nivel intenta trasladar el principio al ámbito internacional. Amodei plantea distintos grados posibles de acuerdo: desde prohibir usos particularmente peligrosos y realizar evaluaciones comunes en ciberseguridad, biología y alineación, hasta —en niveles mucho más difíciles de alcanzar— establecer algún tipo de “límite de velocidad” a una eventual auto-mejora recursiva de la IA. Reconoce expresamente que una pausa global completa sería mucho más difícil de verificar y conseguir.
La idea central
La propuesta puede condensarse así:
No detener la IA, sino evitar que sus capacidades avancen más rápidamente que nuestra capacidad para comprenderla, evaluarla y hacerla segura.
Esto convierte el documento en una referencia particularmente interesante para nuestro debate sobre IA, singularidad y humanidad. Amodei no está diciendo simplemente “tengamos miedo de la IA”. Está proponiendo introducir algo parecido a un ritmo de seguridad en la frontera tecnológica:
CAPACIDAD DE LA IA ↑ → EVALUACIÓN ↑ → SEGURIDAD ↑ → SUPERVISIÓN ↑
Y allí aparece una pregunta todavía mayor:
¿Puede nuestra capacidad para gobernar la tecnología crecer a la misma velocidad que nuestra capacidad para crearla?
Esa pregunta conecta directamente con el principio que venimos planteando:
A más tecnología, más ética.
A más ciencia, más responsabilidad.
Dirección del artículo: Dario Amodei — Debemos caminar en la frontera
Comentarios