Evaluar el riesgo de un sistema de IA, sin doctorado: seis pasos

La evaluación de riesgos es el trámite más invocado y menos practicado de la gobernanza de IA: la exigen el reglamento europeo, las políticas nacionales y la doctrina colombiana — y casi nadie especifica cómo se hace con los equipos y tiempos de una entidad pública real. Nuestra metodología de septiembre cierra esa brecha: seis pasos, dieciséis preguntas guía y una matriz de valoración con reglas de decisión fijas.

Las preguntas nacen de los expedientes, no de los principios

Cada una de las dieciséis preguntas rastrea una falla documentada del catálogo de esta serie. “¿Qué regla vigente podría estar automatizándose incorrectamente y quién verificó su legalidad?” es Robodebt. “¿Qué pasa con la operación si el proveedor se detiene mañana?” es el incidente que paralizó a decenas de entidades colombianas en 2023. “¿Sobre qué grupos el error es mayor y qué evidencia lo descarta?” es el escándalo neerlandés. “¿Qué pasa con el caso atípico que el sistema no fue diseñado para tratar?” es la frontera de toda la serie.

El instrumento no garantiza ver todo. Garantiza mirar donde la historia dice que se falla — que es más de lo que cualquiera de los catorce casos del catálogo tuvo antes de desplegarse.

El método: seis pasos, un expediente

Caracterizar (qué es el sistema, sobre quién opera, con qué datos), clasificar (la matriz impacto × reversibilidad fija la profundidad del análisis), analizar (las dieciséis preguntas, respondidas con evidencia — y “no sabemos” es una respuesta válida: es un riesgo identificado, no una casilla vacía), valorar (probabilidad × severidad, por riesgo identificado, no por sistema), salvaguardar (el plan de tratamiento con responsable, plazo y verificación) y decidir y registrar (aprobar, condicionar o rechazar; el resumen, a la ficha pública del registro).

Dos reglas no se negocian: el riesgo crítico no se despliega — sin excepción firmable — y “condicionar” significa salvaguardas implementadas y comprobadas antes del despliegue, no prometidas. La promesa de salvaguarda no baja ningún riesgo.

Una decisión metodológica merece defensa explícita: la valoración es cualitativa —tres niveles de probabilidad, tres de severidad— porque no existen datos actuariales sobre fallas de IA pública, y los puntajes numéricos sobre riesgos inciertos producen decimales sin significado. La precisión falsa es peor que la imprecisión honesta.

La evaluación es continua o no es

Todo cambio de modelo, de datos, de población o de contexto reabre la evaluación; la vigencia máxima sin reevaluación es un año. La deriva no avisa. Y la deuda más urgente no son los proyectos nuevos sino los desplegados: los sistemas que ya operan en justicia y fiscalización nunca pasaron por una evaluación así. Reevaluarlos por olas produciría en meses el mapa de riesgos real del Estado — el insumo que ninguna política ha tenido.

Por qué importa

En Colombia, la obligación ya existe por tres vías —doctrina constitucional, circular de datos, política nacional— sin instrumento estándar. La EER es nuestra propuesta para ese vacío, publicada como estándar abierto. Para las entidades, la adopción es cumplimiento, no carga adicional; y el expediente resultante es la mejor posición posible ante la tutela, la auditoría o el incidente: decidió mirando, con método público.

El riesgo del instrumento también queda declarado: la evaluación como coartada — expedientes impecables que autorizan lo que ya estaba decidido. Las defensas están en el diseño: reglas de decisión fijas, el “no sabemos” como riesgo, la ficha pública que expone la evaluación al escrutinio, y la firma colectiva del comité. Ningún método resiste respuestas de cumplimiento; por eso el método incluye a quienes tendrán que sostenerlas en público.

El documento completo —con su metodología, sus fuentes y sus limitaciones— está disponible en el PDF descargable de esta página.