Riesgo existencial tecnológico
El riesgo existencial tecnológico es la categoría de riesgos que, de materializarse, amenazarían la civilización humana de forma irreversible —su extinción o un colapso permanente de su potencial—. La IA avanzada figura entre las fuentes principales de este riesgo.
Nick Bostrom lo sistematizó en Superinteligencia, mostrando cómo un sistema que optimiza un objetivo mal especificado podría producir consecuencias catastróficas con total eficacia. Max Tegmark lo operativizó en Vida 3.0, y Toby Ord lo cuantificó en The Precipice. No es ciencia ficción: es el marco que justifica organismos como el Future of Life Institute.
La categoría no exige creer en escenarios apocalípticos concretos. Basta reconocer que algunos riesgos, por improbables que parezcan, tienen consecuencias tan grandes e irreversibles que ignorarlos es una imprudencia estadística.
Determina la agenda de seguridad de los laboratorios de IA más avanzados. Para el humanismo tecnológico, el riesgo existencial es el límite que da sentido a toda la doctrina de gobernanza: gobernar la tecnología antes de que la tecnología nos gobierne no es una metáfora, es una precaución.
El Reglamento (UE) 2024/1689 (AI Act) introduce, en su artículo 51, la categoría de «modelos de IA de propósito general con riesgo sistémico» —definida por umbrales de cómputo de entrenamiento—, el único punto de la normativa europea vigente que roza, sin nombrarlo así, el riesgo existencial tecnológico.
En gobernanza corporativa de IA de frontera, el concepto obliga a distinguir entre riesgo operativo —que un sistema falle— y riesgo existencial —que un sistema, al fallar o al triunfar, comprometa opciones futuras de forma irreversible— al diseñar comités de supervisión.
Usar «riesgo existencial» como hipérbole retórica sin anclarlo en criterios de irreversibilidad.
Ignorar que la categoría incluye riesgos no relacionados con la IA, como la biotecnología o el cambio climático.
Descartar el concepto por asociarlo únicamente con escenarios de ciencia ficción.
- ¿Qué es un riesgo existencial tecnológico?
- ¿Qué lo diferencia de un riesgo operativo?
- ¿Roza la ley europea de IA esta categoría de riesgo?
