LA HUMANIDAD: EL SABER Y EL RIESGO

LA HUMANIDAD: EL SABER Y EL RIESGO

Inteligencia artificial, poder tecnológico y responsabilidad humana

Agustín Zúñiga Gamarra (agustinrzuniga@gmail.com)

1. RESUMEN

El extraordinario desarrollo científico y tecnológico de las últimas décadas ha incrementado la capacidad humana para conocer, transformar y controlar diversos aspectos de la naturaleza. Al mismo tiempo, esa capacidad ha generado nuevos riesgos. El rápido avance de la inteligencia artificial (IA), especialmente de los sistemas de propósito general y de agentes con creciente autonomía, ha reabierto una pregunta fundamental: ¿puede el conocimiento científico y tecnológico llegar a convertirse en un riesgo para la propia humanidad?

Las recientes advertencias de investigadores vinculados al desarrollo y seguridad de sistemas avanzados de IA han colocado nuevamente en el debate público escenarios de desalineación, pérdida de control, catástrofe global e incluso extinción humana. Sin embargo, una aproximación científica exige diferenciar las declaraciones de especialistas, las estimaciones de expertos, los modelos teóricos, los resultados experimentales y la evidencia empírica disponible.

La literatura examinada muestra que existen comportamientos observables relevantes para la seguridad —como specification gaming, goal misgeneralization y reward hacking—, pero no existe evidencia empírica que demuestre que los sistemas actuales puedan producir una pérdida de control de escala existencial. La revisión realizada mediante Consensus encuentra precisamente una situación de evidencia mixta pero preocupante: existen argumentos conceptuales, encuestas de investigadores y evidencia parcial relacionada con problemas de alineación, pero el riesgo existencial continúa sin validación empírica directa.

Se sostiene que el problema no debe plantearse como una oposición entre conocimiento y seguridad. El conocimiento aumenta nuestra capacidad de actuar y, con ello, la magnitud de sus posibles consecuencias. Por tanto, el progreso científico y tecnológico necesita estar acompañado por ética, cultura, educación, gobernanza y responsabilidad.

Palabras clave: inteligencia artificial, riesgo existencial, alineación, desalineación, seguridad de IA, ética, cultura, altruismo, responsabilidad.

2. INTRODUCCIÓN

El ser humano posee una extraordinaria capacidad para conocer. Observa, pregunta, experimenta, se equivoca, corrige y acumula conocimiento. Además, cada generación no comienza desde cero: recibe una herencia intelectual y tecnológica construida durante siglos y continúa desde allí.

Así pasamos de observar el fuego a comprender la combustión; de contemplar las estrellas a enviar instrumentos al espacio; de preguntarnos por la naturaleza de la materia a penetrar en el átomo; y de las primeras máquinas de cálculo a sistemas de inteligencia artificial capaces de producir textos, imágenes, programas informáticos y resolver problemas complejos.

Ese conocimiento ha permitido combatir enfermedades, incrementar la producción de alimentos, comunicarnos instantáneamente, comprender nuestro planeta y explorar el universo. Por tanto, el conocimiento no puede ser considerado nuestro enemigo. La ciencia tampoco. Sin embargo, existe un hecho fundamental: el conocimiento aumenta nuestra capacidad de actuar. Y cuanto mayor es esa capacidad, mayores pueden ser las consecuencias de nuestras decisiones.

El 11 de septiembre de 2001 constituye un ejemplo histórico particularmente dramático. Aviones construidos para transportar personas y unir continentes fueron utilizados deliberadamente como instrumentos de destrucción. No fue la aviación la que decidió destruir. Seres humanos utilizaron una tecnología existente para hacerlo.

Veinticinco años después, una tecnología profundamente diferente genera nuevas interrogantes. El extraordinario desarrollo de la inteligencia artificial ha llevado a investigadores del propio campo a advertir acerca de posibles riesgos derivados de sistemas futuros mucho más capaces.

Es importante no equiparar ambos problemas. El 11 de septiembre representa el uso humano deliberadamente destructivo de una tecnología. Los escenarios discutidos alrededor de la IA comprenden también ese riesgo de uso malicioso, pero añaden otro problema potencial: sistemas suficientemente autónomos y capaces que pudieran actuar contra las intenciones humanas y dificultar su propio control.

Surgen entonces las preguntas que orientan este trabajo: ¿A medida que aumenta nuestro conocimiento y poder tecnológico aumenta también el riesgo para nuestra especie? ¿Qué peligros de la IA han sido demostrados? ¿Cuáles poseen evidencia parcial? ¿Cuáles continúan siendo hipótesis? Y, finalmente: ¿Es el problema el conocimiento que adquirimos o nuestra capacidad para decidir qué hacemos con él?

3. DESARROLLO

3.1. Del conocimiento al poder tecnológico

La historia de la ciencia muestra reiteradamente que un mismo conocimiento puede tener aplicaciones profundamente diferentes.

La física nuclear permite comprender la estructura y el comportamiento del núcleo atómico. Ese conocimiento puede utilizarse para producir radioisótopos destinados a la medicina, investigar materiales y desarrollar numerosas aplicaciones científicas, industriales y tecnológicas. Pero ese mismo conocimiento hizo posible la construcción de armas nucleares.

La química produce medicamentos que salvan vidas, pero determinados conocimientos químicos también pueden utilizarse con fines destructivos. La biología molecular permite comprender enfermedades y desarrollar tratamientos, pero plantea igualmente problemas de bioseguridad.

La aviación une continentes, pero el 11 de septiembre demostró que también podía utilizarse como instrumento de destrucción.

Y ahora tenemos la inteligencia artificial. Puede ayudarnos a investigar, diagnosticar, enseñar, diseñar, programar, traducir y resolver problemas. Pero también puede incrementar las capacidades humanas destinadas al fraude, la manipulación, la desinformación y los ciberataques, entre otros usos perjudiciales. Precisamente por esta diversidad de riesgos, el Artificial Intelligence Risk Management Framework propone integrar sistemáticamente la gestión del riesgo durante el diseño, desarrollo, despliegue y utilización de sistemas de IA (Tabassi, 2023).

Podemos plantear entonces una primera proposición: El conocimiento no necesariamente hace más peligroso al ser humano. Hace más poderosas sus decisiones.

3.2. Las advertencias sobre un riesgo extremo

En septiembre de 2026, las declaraciones públicas de investigadores vinculados directamente con el desarrollo y la seguridad de sistemas avanzados de inteligencia artificial volvieron a colocar el riesgo existencial en el centro del debate internacional. Entre ellas destacó la renuncia de Jacob Coxon a Anthropic y sus posteriores advertencias sobre una carrera hacia sistemas de inteligencia artificial cada vez más capaces y eventualmente auto-mejorables. Sus declaraciones, junto con las preocupaciones expresadas por otros investigadores del área, alcanzaron amplia repercusión en medios internacionales y generaron también reacciones políticas y nuevas discusiones sobre regulación y seguridad de la IA (Luscombe, 2026; Rozen, 2026; Waldvogel & Duncan, 2026; Zeff, 2026).

Estas advertencias poseen especial relevancia porque proceden de investigadores con experiencia directa en el desarrollo y estudio de sistemas avanzados de IA. Sin embargo, desde el punto de vista científico, la experiencia o autoridad de quien formula una afirmación no constituye por sí misma su demostración. Una advertencia experta puede señalar un problema que merece ser investigado, pero sus afirmaciones deben contrastarse con evidencia empírica, resultados reproducibles, modelos teóricos y literatura científica especializada.

Surge entonces la pregunta que conduce al siguiente nivel de este análisis: ¿Qué evidencia científica existe realmente para sostener que una inteligencia artificial avanzada podría representar un riesgo catastrófico o existencial para la humanidad?

La revisión realizada mediante Consensus ofrece una respuesta equilibrada: la evidencia es mixta pero preocupante. La preocupación se sustenta en argumentos conceptuales, modelos teóricos, encuestas de especialistas y evidencia empírica sobre algunos comportamientos relacionados con la desalineación, pero no existe validación empírica directa del escenario final de extinción humana.

Esta distinción resulta fundamental para un análisis científico. No es lo mismo observar un comportamiento inesperado en un sistema actual que demostrar que ese comportamiento conducirá posteriormente a una pérdida de control global.

3.3. ¿Qué evidencias existen?

Entre los fenómenos estudiados aparecen el specification gaming y el goal misgeneralization.

El primero ocurre cuando un sistema encuentra una manera inesperada de satisfacer formalmente una especificación o maximizar una recompensa sin cumplir realmente la intención humana. Podría entenderse como cumplir la letra de una instrucción, pero no su propósito. El goal misgeneralization, o generalización errónea del objetivo, aparece cuando un sistema desarrolla durante el entrenamiento una estrategia que parece adecuada, pero al enfrentarse a nuevas condiciones generaliza incorrectamente aquello que se pretendía conseguir.

La literatura recogida por Consensus considera estos fenómenos evidencia relevante para estudiar los problemas de alineación.  Sin embargo, debe establecerse un límite claro: evidencia de problemas de alineación no equivale a evidencia de extinción humana. La primera existe. La segunda no ha sido demostrada.

3.4. ¿Qué piensan los investigadores?

Un segundo elemento procede de las encuestas realizadas a especialistas. Grace et al. (2024) recogieron respuestas de 2.778 investigadores que habían publicado trabajos sobre inteligencia artificial. Dependiendo de la forma en que se planteaba la pregunta, entre 38 % y 51 % de los participantes asignaban al menos un 10 % de probabilidad a resultados futuros de la IA tan graves como la extinción humana.  El resultado merece atención, pero requiere una interpretación cuidadosa.

Una encuesta de investigadores no demuestra una determinada probabilidad objetiva de extinción. Demuestra que una proporción significativa de especialistas considera que el riesgo no debe descartarse. Al mismo tiempo, las estimaciones presentan una gran dispersión. Existe, por tanto, preocupación entre investigadores, pero no consenso científico acerca de la magnitud o probabilidad del riesgo existencial.

3.5. Alineación, desalineación y pérdida de control

Uno de los conceptos centrales en esta discusión es AI alignment, o alineación de la inteligencia artificial: lograr que el comportamiento de un sistema corresponda a las intenciones y objetivos humanos relevantes.

El problema inverso es la desalineación (misalignment). Una IA desalineada no significa necesariamente una máquina “malvada”. Puede tratarse simplemente de un sistema que persigue un objetivo diferente del que realmente pretendía establecer el ser humano.

El problema adquiere otra dimensión cuando se introduce el concepto de power-seeking o búsqueda de poder. Algunos modelos teóricos plantean que un agente suficientemente avanzado podría encontrar instrumentalmente conveniente adquirir recursos, preservar su capacidad de acción o evitar modificaciones que impidan alcanzar su objetivo (Carlsmith, 2022; Dung, 2024).

De allí surge una posible secuencia conceptual:

Desalineación → búsqueda de poder → evasión de supervisión → resistencia al apagado → pérdida de control → riesgo catastrófico o existencial.

Pero esta secuencia necesita una advertencia fundamental: no constituye una cadena causal científicamente demostrada. Cada flecha contiene hipótesis, supuestos e incertidumbres.

El International AI Safety Report 2026 señala que los sistemas actuales todavía no poseen el conjunto de capacidades necesarias para producir escenarios de pérdida de control de esa magnitud, aunque reconoce avances en algunas capacidades relacionadas.

3.6. El contrapunto científico

La ciencia no progresa únicamente acumulando argumentos favorables a una hipótesis. También necesita crítica, contraste y posibilidad de refutación.

Por ello, una revisión equilibrada del riesgo existencial de IA debe considerar las posiciones críticas. Bareis, Ackerl y Heil (2026) realizaron una revisión narrativa integradora de 81 artículos revisados por pares sobre riesgos existenciales relacionados con IA. Los autores encontraron un campo fragmentado, con supuestos discutibles, afirmaciones especulativas y tendencias a antropomorfizar determinados comportamientos de los sistemas. Müller y Cannon (2021), desde otra perspectiva, han cuestionado aspectos filosóficos y lógicos de algunos argumentos utilizados para fundamentar el riesgo existencial.

La revisión obtenida mediante Consensus recoge también estas objeciones y concluye que los argumentos teóricos son suficientemente relevantes como para no descartarlos, pero la ausencia de observaciones directas impide conclusiones definitivas sobre la magnitud del riesgo.  Esto no demuestra que el riesgo sea inexistente. Demuestra algo científicamente diferente: su magnitud continúa siendo incierta.

3.7. El problema de demostrar un riesgo antes de que ocurra

Aquí surge un interesante problema epistemológico. En ciencia pedimos evidencia. Observamos fenómenos, formulamos hipótesis, experimentamos, medimos y contrastamos resultados. Pero ¿cómo obtener evidencia empírica definitiva de un acontecimiento que, si llegara a producirse, podría ser irreversible?

Kovařík, van Merwijk y Mattsson (2024) plantean precisamente las dificultades que existen para estudiar científicamente determinados riesgos de extinción asociados con IA. La ausencia de evidencia directa no demuestra automáticamente que un riesgo no exista. Pero tampoco autoriza a presentarlo como un hecho demostrado. Por ello, una formulación científicamente prudente sería: El riesgo existencial asociado con la IA es conceptualmente plausible, pero empíricamente no está demostrado.

Esta incertidumbre tampoco significa permanecer indiferentes. Cuando las consecuencias potenciales son extraordinariamente grandes, resulta razonable investigar, evaluar y prevenir antes de disponer de la evidencia definitiva. Podríamos expresarlo así: En ciencia pedimos evidencias. Pero cuando el riesgo podría comprometer a toda la humanidad, quizá no podamos esperar a tener la evidencia definitiva para comenzar a prevenirlo.

3.8. Uso malicioso y pérdida de control: dos problemas diferentes

Existe otra distinción esencial. Una inteligencia artificial puede producir daño porque un ser humano decide utilizarla para hacerlo. Es el denominado malicious use o uso malicioso.  También puede producir daño porque falla, genera información incorrecta o ejecuta inadecuadamente una tarea. Y existe un tercer escenario, mucho más extremo: sistemas suficientemente autónomos que actuaran persistentemente contra las intenciones humanas y fueran difíciles de controlar.

Los tres problemas son diferentes y poseen distintos niveles de evidencia. Esta distinción permite regresar al 11 de septiembre de 2001. Los aviones no se rebelaron contra los seres humanos. Fueron seres humanos quienes utilizaron deliberadamente una tecnología con fines destructivos. Por tanto, el 11-S y una hipotética pérdida de control de una IA no son acontecimientos equivalentes.

Lo que permite relacionarlos es una pregunta mucho más amplia: ¿Qué hacemos los seres humanos con el poder que nos proporciona el conocimiento?

3.9. Ciencia, cultura y aprender a vivir juntos

Nuestro problema deja entonces de ser exclusivamente tecnológico. Cuando hablamos de cultura pensamos normalmente en música, literatura, costumbres, gastronomía, fiestas y tradiciones. Todo ello forma parte de la cultura. Pero UNESCO incluye también en el concepto de cultura nuestros sistemas de valores y formas de vivir juntos. Además, aprender a vivir juntos constituye uno de los cuatro pilares de la educación planteados por la Comisión Internacional sobre la Educación para el Siglo XXI (Delors et al., 1996).

La expresión parece sencilla. Pero la humanidad ha aprendido cosas extraordinariamente difíciles y todavía encuentra dificultades para convivir. Somos capaces de estudiar galaxias situadas a millones de años luz, pero algunas veces tenemos dificultades para comprender al ser humano que se encuentra a nuestro lado. Somos capaces de liberar la energía contenida en el núcleo atómico y todavía tenemos guerras. Somos capaces de desarrollar inteligencia artificial y todavía necesitamos aprender a vivir juntos. Por eso ciencia y cultura no deberían permanecer como mundos separados cuando analizamos las consecuencias humanas de la tecnología.

3.10. A más tecnología, más ética

La reflexión acerca de la tecnología no pertenece exclusivamente a científicos e ingenieros. El papa León XIV, en la encíclica Magnifica Humanitas, retoma la preocupación acerca del denominado paradigma tecnocrático: el peligro de permitir que la lógica de la eficiencia, el control y el lucro gobierne por sí sola decisiones personales, sociales y económicas (León XIV, 2026, n. 92). Al referirse al enorme poder alcanzado por la humanidad mediante el desarrollo científico y tecnológico, formula una expresión particularmente significativa: “Más poderoso no significa necesariamente mejor” (León XIV, 2026, n. 93).

Esta reflexión coincide con una idea que hemos sostenido desde El Zaguán de Oropuquio: A más tecnología, más ética. Esto no significa menos ciencia. No significa menos investigación. No significa menos tecnología. Significa más conocimiento acompañado de mayor responsabilidad.

La ciencia puede enseñarnos cómo hacer muchas cosas. Pero nuestra capacidad técnica para hacer algo no determina automáticamente para qué debemos hacerlo, bajo qué condiciones o con qué límites. Allí aparecen la ética, los valores, la cultura, las instituciones y la responsabilidad.

3.11. Egoísmo, cooperación y altruismo

La discusión conduce finalmente hacia el propio ser humano. Richard Dawkins popularizó la expresión The Selfish Gene —El gen egoísta—. Sin embargo, ello no significa que los seres humanos estén biológicamente condenados al egoísmo.

La evolución contiene competencia, pero también cooperación, reciprocidad y diferentes comportamientos altruistas. Nuestra propia existencia posee una larga historia de cooperación. Alguien cuidó al niño. Alguien compartió alimento. Alguien protegió al grupo. Alguien atendió al enfermo. Alguien enseñó. Alguien transmitió conocimiento. La competencia forma parte de nuestra historia, pero también la cooperación. Y poseemos una extraordinaria capacidad para reflexionar acerca de nuestro comportamiento y preguntarnos: ¿Qué clase de seres humanos queremos ser? Podemos reconocer el egoísmo y promover el altruismo. Reconocer la violencia y educar para la paz. Reconocer la competencia y construir cooperación. Reconocer nuestras diferencias y aprender a vivir juntos. Promover el altruismo tampoco significa renunciar a la libertad individual. Significa comprender que: Mi libertad comparte el mundo con la libertad del otro.

3.12. La inteligencia artificial como espejo

Quizá entonces la inteligencia artificial esté colocando a la humanidad frente a un espejo. Nos preguntamos: ¿Qué ocurrirá cuando las máquinas sean cada vez más inteligentes? Pero quizá debamos formular primero otra pregunta: ¿Qué haremos nosotros con máquinas cada vez más inteligentes? La pregunta tecnológica vuelve a conducirnos hacia el ser humano. La máquina hacia el ser humano. El algoritmo hacia la ética. La tecnología hacia la cultura. Y el futuro hacia la responsabilidad.

El desafío no consiste únicamente en construir sistemas técnicamente seguros y alineados. También necesitamos sociedades capaces de decidir responsablemente cómo utilizarlos; instituciones capaces de establecer límites; empresas que incorporen seguridad desde el diseño; educación que prepare para su utilización crítica; y cooperación internacional frente a riesgos que pueden superar fronteras nacionales. La gestión del riesgo debe acompañar al desarrollo tecnológico y no aparecer únicamente después del daño (Tabassi, 2023).

3.13. Del riesgo nacional a la gobernanza global

Si los beneficios y riesgos de la inteligencia artificial pueden atravesar fronteras, surge una pregunta inevitable: ¿puede la seguridad de una tecnología global depender exclusivamente de las empresas o de los Estados que la desarrollan?

La experiencia nuclear ofrece un antecedente interesante. Después de las bombas atómicas de 1945, la comunidad internacional avanzó hacia mecanismos de cooperación y control. En 1957 se creó el Organismo Internacional de Energía Atómica (OIEA/IAEA), encargado, entre otras funciones, de promover los usos pacíficos de la energía nuclear y aplicar salvaguardias para verificar que los materiales nucleares sometidos a ellas no sean desviados hacia fines militares.

La inteligencia artificial plantea un problema diferente. Todavía no existe un organismo internacional equivalente a la OIEA con facultades globales de supervisión y verificación. Sin embargo, las Naciones Unidas ya han comenzado a construir mecanismos de cooperación internacional, como el Independent International Scientific Panel on Artificial Intelligence y el Global Dialogue on AI Governance. El primero no constituye un organismo regulador ni posee facultades para imponer normas vinculantes.

La dimensión internacional es fundamental porque la IA avanzada no se desarrolla únicamente en Estados Unidos. China es también uno de los principales actores mundiales, y una carrera tecnológica entre potencias podría generar incentivos para priorizar capacidad y velocidad sobre seguridad, preocupación relacionada con el denominado AI arms race (Torres, 2019).

La experiencia nuclear deja una enseñanza: los acuerdos internacionales adquieren mayor fuerza cuando existen mecanismos para verificar su cumplimiento. Una futura arquitectura global para la IA podría incorporar estándares comunes de seguridad, evaluación independiente, reporte de incidentes, transparencia y mecanismos apropiados de verificación.

Sin embargo, no sería posible copiar simplemente el modelo nuclear. El material nuclear es físico y puede medirse, contabilizarse e inspeccionarse; la IA involucra software, algoritmos, datos y capacidad computacional que pueden reproducirse y transferirse de otras maneras.

Por ello, el desafío no consiste necesariamente en crear una “OIEA de la IA”, sino en desarrollar una forma de gobernanza internacional adaptada a la naturaleza de esta nueva tecnología. Si una tecnología puede producir beneficios globales y riesgos globales, necesita también responsabilidad global. Los riesgos globales requieren respuestas globales.

4. CONCLUSIONES

De la revisión realizada pueden establecerse las siguientes conclusiones.

Primera. La evidencia científica disponible no permite afirmar que la inteligencia artificial vaya a provocar la extinción humana. Los escenarios de riesgo existencial permanecen sujetos a importantes incertidumbres y desacuerdos.

Segunda. La ausencia de demostración de un riesgo existencial no significa ausencia de problemas. Existen comportamientos observables relacionados con errores de objetivos, manipulación de recompensas, dificultades de supervisión y otros problemas de alineación que justifican continuar investigando la seguridad de sistemas cada vez más capaces.

Tercera. Debemos distinguir cuidadosamente entre uso malicioso, fallos de sistemas, desalineación, pérdida de control, riesgo catastrófico y riesgo existencial. No representan el mismo fenómeno ni poseen el mismo grado de evidencia.

Cuarta. No debemos tener miedo al conocimiento. La humanidad necesita más ciencia, investigación, educación y mejores tecnologías. Pero el conocimiento incrementa también nuestra capacidad de actuar y, por tanto, el poder necesita responsabilidad.

Quinta. Ciencia y cultura no son mundos separados. Si cultura comprende también nuestras formas de vivir juntos, el desarrollo científico necesita estar acompañado por nuestra capacidad para convivir.

Sexta. Nuestra historia evolutiva no nos condena exclusivamente al egoísmo. Cooperación, reciprocidad y altruismo forman también parte de ella. La razón, la educación y la cultura nos permiten decidir qué comportamientos queremos fortalecer.

Séptima. Los posibles riesgos de sistemas avanzados de inteligencia artificial poseen una dimensión internacional. Ningún Estado ni empresa puede garantizar aisladamente la seguridad de una tecnología cuyos efectos pueden atravesar fronteras. La experiencia nuclear demuestra el valor de la cooperación, las salvaguardias y la verificación internacional. La IA probablemente requerirá nuevos mecanismos globales adaptados a su propia naturaleza.

Por ello, la pregunta no debería ser: ¿Debemos detener el conocimiento?. La respuesta es: No. Debemos continuar conociendo, investigando y creando. La pregunta verdaderamente difícil es otra: ¿Seremos capaces de hacer crecer nuestra humanidad al mismo ritmo que hacemos crecer nuestra tecnología? Quizá el mayor riesgo de nuestra especie no sea llegar a saber demasiado. Sino  sea alcanzar un enorme poder científico y tecnológico sin haber aprendido todavía a vivir juntos. Porque cuanto mayor sea nuestra capacidad para transformar el mundo, mayor deberá ser nuestra capacidad para cuidar la vida. A más tecnología, más ética.

5. REFERENCIAS

Bareis, J., Ackerl, C., & Heil, R. (2026). AI going rogue? An integrative narrative review of the tacit assumptions underlying existential AI-risks. AI and Ethics, 6. https://doi.org/10.1007/s43681-025-00928-w

Bucknall, B. S., & Dori-Hacohen, S. (2022). Current and near-term AI as a potential existential risk factor. Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society. https://doi.org/10.1145/3514094.3534146

Carlsmith, J. (2022). Is power-seeking AI an existential risk? arXiv. https://doi.org/10.48550/arXiv.2206.13353

Delors, J., Al Mufti, I., Amagi, I., Carneiro, R., Chung, F., Geremek, B., Gorham, W., Kornhauser, A., Manley, M., Quero, M. P., Savané, M.-A., Singh, K., Stavenhagen, R., Suhr, M. W., & Nanzhao, Z. (1996). Learning: The treasure within: Report to UNESCO of the International Commission on Education for the Twenty-first Century. UNESCO.

Dung, L. (2024). The argument for near-term human disempowerment through AI. AI & Society, 40, 1195–1208. https://doi.org/10.1007/s00146-024-01930-2

Grace, K., Stewart, H., Sandkühler, J. F., Thomas, S., Weinstein-Raun, B., & Brauner, J. (2024). Thousands of AI authors on the future of AI. Journal of Artificial Intelligence Research. https://doi.org/10.1613/jair.1.19087

Hadshar, R. (2023). A review of the evidence for existential risk from AI via misaligned power-seeking. arXiv. https://doi.org/10.48550/arXiv.2310.18244

International AI Safety Report. (2026, February 3). International AI Safety Report 2026. International AI Safety Report 2026

Kovařík, V., van Merwijk, C., & Mattsson, I. (2024). Extinction risks from AI: Invisible to science? arXiv. https://doi.org/10.48550/arXiv.2403.05540

León XIV. (2026, 15 de mayo). Magnifica Humanitas: Carta encíclica sobre la custodia de la persona humana en el tiempo de la inteligencia artificial. Santa Sede. Texto oficial de Magnifica Humanitas

Luscombe, R. (2026, 9 de septiembre). Anthropic researchers say AI could cause human extinction by 2030. The Guardian. Artículo de The Guardian

Mandel, D. R. (2023). Artificial general intelligence, existential risk, and human risk perception. arXiv. https://doi.org/10.48550/arXiv.2311.08698

Müller, V. C., & Cannon, M. (2021). Existential risk from AI and orthogonality: Can we have it both ways? Ratio. https://doi.org/10.1111/rati.12320

Rozen, C. (2026, 10 de septiembre). More US lawmakers seek new AI rules after Anthropic researchers warn of human extinction. Reuters. Artículo de Reuters

Tabassi, E. (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1). National Institute of Standards and Technology. https://doi.org/10.6028/NIST.AI.100-1

Torres, P. (2019). The possibility and risks of artificial general intelligence. Bulletin of the Atomic Scientists, 75(3), 105–108. https://doi.org/10.1080/00963402.2019.1604856

United Nations. (2025, August 26). Independent International Scientific Panel on Artificial Intelligence and Global Dialogue on Artificial Intelligence Governance (Resolution A/RES/79/325). Panel y Diálogo sobre Inteligencia Artificial — Naciones Unidas

United Nations. (2026). Global Dialogue on AI Governance. Global Dialogue on AI Governance

United Nations Independent International Scientific Panel on Artificial Intelligence. (2026, July 1). Preliminary report: Evidence-based assessment of opportunities, risks and impacts of AI. United Nations. Informe preliminar del Panel Científico Internacional de IA

Waldvogel, M., & Duncan, I. (2026, 9 de septiembre). Political world erupts as AI researchers warn of ‘extinction’ threat. The Washington Post. Artículo de The Washington Post

Zeff, M. (2026, 9 de septiembre). The AI researcher who just quit Anthropic says it’s ‘crunch time for humanity’. WIRED. Entrevista a Jacob Coxon en WIRED