Las organizaciones están desplegando agentes de IA capaces de analizar información, acceder a sistemas, usar herramientas y actuar con una autonomía creciente.
En procesos de bajo riesgo, esto puede mejorar la eficiencia de forma significativa. Pero cuando un agente puede mover dinero, cambiar el dato de un cliente o aprobar una operación, la situación cambia. Ya no basta con preguntar si da la respuesta correcta: la organización también necesita saber si actúa dentro de los límites permitidos.
El riesgo no es solo equivocarse
Un modelo tradicional genera una predicción o una respuesta. Un agente de IA además elige a qué información acceder, qué herramientas utilizar y cómo alcanzar un objetivo. Eso introduce un riesgo nuevo: el agente puede encontrar formas de cumplir ese objetivo que la organización nunca pretendió, por ejemplo saltándose una revisión que se daba por obligatoria, eligiendo la fuente más rápida disponible en lugar de la aprobada, o avanzando de forma automática donde una persona habría entendido que hacía falta una autorización.
El problema puede no ser la desobediencia, sino que sigue el objetivo de forma demasiado literal: el agente resuelve el objetivo que se enunció, no necesariamente el objetivo que se pretendía. Cuando el agente puede influir en decisiones o ejecutar acciones, esa interpretación errónea puede convertirse en un evento operativo, regulatorio o financiero.
Un buen prompt no es un sistema de control
Instrucciones como «no modifiques datos», «usa fuentes aprobadas» o «pide autorización antes de actuar» son necesarias, pero no suficientes. Los modelos generativos operan de forma probabilística: pueden malinterpretar instrucciones, pasar por alto excepciones o comportarse de manera inesperada ante una situación nueva.
En procesos críticos, la seguridad y el control no pueden depender solo de que el agente siga un prompt. Los límites más importantes deben estar construidos en la arquitectura y permanecer fuera del control del agente.
Las empresas ya resolvieron esto con las personas: límites de gasto, umbrales de aprobación, segregación de funciones. Nadie pregunta si eso es legalmente obligatorio; son controles internos básicos. Si a un agente se le da la misma capacidad de actuar, debería operar bajo los mismos límites.
La solución: autonomía limitada y gobernada
Un agente de IA que opera en un entorno crítico debería trabajar dentro de unos límites operativos claros: un conjunto controlado de herramientas, permisos, reglas y acciones que define qué está autorizado a hacer. Esto implica establecer:
- herramientas autorizadas y permisos mínimos;
- una separación clara entre recomendar y ejecutar;
- políticas deterministas que el agente no puede cambiar;
- verificación de la evidencia y explicación de las decisiones relevantes;
- un enforcement que bloquee la acción cuando no se cumplen las condiciones de política;
- aprobación humana para las acciones críticas;
- trazabilidad completa de decisiones y acciones.
objetivo → acción
frente a
objetivo autorizado → evidencia → acción propuesta → verificación y explicación → permiso y aprobación → ejecución limitada y completamente registrada
Esto permite que el agente aporte velocidad y capacidad analítica sin darle libertad completa para decidir cómo alcanzar cualquier objetivo.
Gobernar no significa eliminar la autonomía
El objetivo no es impedir que los agentes de IA generen valor. Pueden buscar, analizar, priorizar, recomendar e incluso ejecutar automáticamente acciones de bajo riesgo. Pero la autonomía debería depender del riesgo de cada acción. La pregunta clave no es solo si el agente puede actuar, sino qué ocurre si esa acción es incorrecta.
La reversibilidad, el impacto financiero y regulatorio, y el efecto sobre clientes u operaciones deberían determinar el nivel de autonomía:
- las acciones reversibles y de bajo impacto pueden automatizarse;
- las acciones con consecuencias relevantes pueden requerir aprobación;
- las acciones con impacto regulatorio, financiero, de seguridad o de cliente de gran alcance pueden quedar fuera de la autoridad del agente.
Cuanto mayor es la consecuencia potencial, más limitada debería ser la autoridad del agente.
Lo que la organización debe poder demostrar
Cuando un agente actúa o recomienda una acción, la organización debería poder demostrar:
- qué hizo;
- por qué tomó esa decisión;
- qué evidencia utilizó;
- qué límites se aplicaron;
- quién o qué lo autorizó.
En entornos críticos, desplegar agentes sin una arquitectura de control introduce riesgo operativo, regulatorio y reputacional. El control también tiene un coste: verificar cada acción puede consumir el ahorro que justificaba la automatización, mientras que no verificar nada deja sin detectar fallos costosos.
La ventaja no vendrá de los agentes más autónomos, sino de los mejor gobernados.