Riesgo irreversible
El riesgo irreversible es aquel cuyo daño, de materializarse, no admite recuperación posterior, con independencia de lo improbable que parezca su materialización en el momento de decidir. La lectura que esta serie hace del episodio de Escila y Caribdis ordena las decisiones por reversibilidad antes que por probabilidad: la asimetría entre perder algo y perderlo todo no se compensa multiplicando la probabilidad de la segunda por un número pequeño.
La distinción con el riesgo simplemente probable es central en la teoría de la decisión bajo incertidumbre: un riesgo de baja probabilidad pero de impacto reversible puede gestionarse con un cálculo de expectativa estándar —probabilidad por magnitud del daño—. Un riesgo irreversible rompe ese cálculo, porque no hay magnitud de beneficio esperado que compense una pérdida definitiva: no existe partida de vuelta.
Esta es la lógica detrás de los llamados principios de precaución en gestión de riesgo: ante una posibilidad de daño irreversible, la carga de la prueba se invierte y es quien despliega la tecnología quien debe demostrar que el riesgo está acotado, no quien lo cuestiona quien debe demostrar que existe.
El principio de precaución está reconocido en el artículo 191 del Tratado de Funcionamiento de la Unión Europea como criterio general de política ambiental, y se invoca por analogía en buena parte del debate regulatorio sobre riesgos irreversibles de la IA avanzada, aunque el AI Act europeo no lo adopta de forma explícita como principio rector.
En gobernanza corporativa de IA, obliga a clasificar las decisiones de despliegue no solo por su probabilidad de fallo, sino por si el fallo, de ocurrir, sería recuperable: un error de precios se corrige; una filtración masiva de datos sensibles, no.
Evaluar un riesgo irreversible con el mismo cálculo de probabilidad que un riesgo reversible.
Asumir que una probabilidad baja siempre justifica proceder, sin mirar la magnitud del daño si ocurre.
Ignorar que la irreversibilidad, no la probabilidad, es el criterio que debería ordenar la decisión.
- ¿Qué es un riesgo irreversible?
- ¿En qué se diferencia de un riesgo simplemente improbable?
- ¿Qué es el principio de precaución y cómo se relaciona con este concepto?
