La IA explicable (XAI): Cómo hacer que los agentes rindan cuentas
El fin de la era de la «caja negra»
Durante años, la industria de la IA ha operado bajo un axioma incómodo: los modelos más potentes son también los más opacos.
La llegada de los agentes autónomos, sistemas capaces de razonar, planificar y ejecutar acciones a lo largo de flujos de trabajo complejos sin supervisión humana continua, ha transformado esta incomodidad en una crisis de confianza y cumplimiento.
Los agentes ya no se limitan a generar texto; toman decisiones que afectan a la concesión de créditos, al diagnóstico médico, a la gestión de infraestructuras críticas y a la seguridad de las organizaciones.
Cuando un agente deniega una reclamación, selecciona un proveedor en la nube o ejecuta un comando en producción, «el modelo decidió» ya no es una respuesta aceptable ante un regulador, un cliente o un auditor.
«La autonomía en flujos de trabajo operativos solo es defendible cuando es auditable.
La auditabilidad no es una propiedad narrativa; es una propiedad operativa que debe diseñarse en el sistema.»
Guía práctica para hacer que los agentes autónomos rindan cuentas: qué exige la regulación, qué técnicas permiten documentar el razonamiento, cómo implementar la trazabilidad de decisiones, y qué marcos de auditoría están surgiendo para dar respuesta a esta exigencia.
El imperativo regulatorio: Lo que exige la ley
La explicabilidad no es una opción. El Reglamento de IA de la UE (EU AI Act) lo convierte en un requisito legal para los sistemas de alto riesgo, con efectos directos sobre los agentes autónomos que operan en estos dominios.
El Artículo 13: Doce especificaciones técnicas
El análisis del Artículo 13 del EU AI Act revela doce requisitos técnicos que los sistemas de alto riesgo deben cumplir.
Profundidad documental: Los proveedores deben proporcionar una «ficha de modelo» detallada que incluya la procedencia de los datos, los pasos de preprocesamiento y las métricas de rendimiento por subgrupos demográficos.
Descripción agnóstica del modelo: Las explicaciones deben expresarse en términos que no presupongan una estructura algorítmica específica.
Transparencia orientada al rendimiento: El sistema debe divulgar medidas cuantitativas de fidelidad de la explicación, incluyendo puntuaciones de estabilidad e interpretabilidad.
Claridad orientada al usuario: Las divulgaciones técnicas deben ir acompañadas de un resumen en lenguaje sencillo que destaque el fundamento de la decisión.
Integridad de la pista de auditoría: Todas las actualizaciones y versiones del modelo deben registrarse con marcas temporales inmutables.
Validación externa: Se requieren evaluaciones independientes por terceros para modelos de alto riesgo que superen el umbral de 10⁶ parámetros.
Gobernanza de datos: Los conjuntos de datos de entrenamiento deben archivarse públicamente con metadatos de procedencia y licencias de uso.
Mitigación de riesgos: Los proveedores deben implementar un plan de contingencia para fallos del modelo que incluya heurísticas de respaldo.
Informes de explicabilidad: Debe generarse un informe estructurado en JSON para cada inferencia, con intervalos de confianza y citas de fuentes.
Monitorización continua: La telemetría en tiempo real debe alimentar un cuadro de mandos de cumplimiento que detecte desviaciones de los límites de rendimiento especificados.
Documentación del equipo: Debe documentarse el currículum de todos los contribuyentes implicados en el desarrollo del modelo.
Continuidad documental: Para artículos dentro de una serie de investigación, la introducción debe hacer referencia a los hallazgos previos para mantener la coherencia narrativa.
Estas especificaciones no son meras recomendaciones; constituyen la columna vertebral de las obligaciones de explicabilidad impuestas por el EU AI Act.
El calendario actualizado: Tiempo, pero no tregua
La adopción del Digital Omnibus on AI en julio de 2026 ha modificado los plazos de aplicación de las obligaciones de alto riesgo, incluyendo las relativas a explicabilidad y auditabilidad.
Sistemas de alto riesgo «de uso» (Anexo III): la fecha de aplicación se retrasa del 2 de agosto de 2026 al 2 de diciembre de 2027.
Sistemas de alto riesgo en productos regulados (Anexo I): la fecha se retrasa al 2 de agosto de 2028.
Obligaciones de transparencia sobre contenido sintético (Art. 50.2): para sistemas ya comercializados, se retrasa al 2 de diciembre de 2026; los sistemas nuevos deben cumplir inmediatamente.
Esta extensión no es una tregua. Como advierten los expertos legales de Freshfields, «las obligaciones subyacentes no han cambiado» y «las empresas deben utilizar este tiempo de forma productiva».
En palabras de la plataforma Rasa: «Un aplazamiento es un regalo de tiempo, pero el destino no ha cambiado».
Las organizaciones que esperen a diciembre de 2027 para empezar a construir sus capacidades de auditabilidad y explicabilidad se enfrentarán a un esfuerzo de última hora que ninguna prórroga podrá salvar.
El desafío de explicar agentes: Más allá de los modelos tradicionales
Los agentes autónomos presentan desafíos únicos para la explicabilidad, que van mucho más allá de los modelos de IA tradicionales.
La explicación no es la decisión
Una distinción fundamental que los equipos deben internalizar es la diferencia entre explicación y auditabilidad.
Como señala la investigación sobre agentes autónomos: «Las explicaciones pueden ser persuasivas y, aun así, ser erróneas, incompletas o no estar respaldadas por datos autorizados.
La auditabilidad exige un estándar diferente: el sistema debe poder mostrar qué utilizó, cuándo lo utilizó, qué restricciones se verificaron, qué se ejecutó (o no se ejecutó) y cómo se supervisaron los resultados».
Las técnicas de XAI diseñadas para modelos aislados, como SHAP o LIME, que explican la contribución de características en modelos de características fijas, son insuficientes para agentes.
Una explicación en un agente no es un vector de importancia de características; es una cadena de evidencia que debe incluir:
El contexto recuperado y considerado.
Las llamadas a herramientas realizadas y sus argumentos.
Las decisiones de política que se aplicaron.
Las evaluaciones que se ejecutaron para validar la respuesta.
El estado de los guardarraíles en cada paso.
La naturaleza distribuida de la decisión
En un sistema multi-agente, la explicabilidad se vuelve exponencialmente más compleja.
Los agentes pueden coordinarse, delegar tareas, refinar información de forma iterativa y producir resultados que son el producto de una orquestación distribuida.
Cuando un agente líder sintetiza el trabajo de varios subagentes, la pista de auditoría debe capturar:
Qué subagentes participaron.
Qué información aportó cada uno.
Cómo se resolvieron los conflictos entre fuentes.
Qué criterios utilizó el líder para la síntesis final.
Los marcos multi-agente, como los que ofrece xAI, operan con un modelo en el que solo la salida del agente líder es visible para el usuario.
El estado de los subagentes (incluyendo su razonamiento intermedio y llamadas a herramientas) está cifrado y solo se incluye en la respuesta cuando se solicita explícitamente.
Esto plantea un desafío de auditabilidad que debe gestionarse mediante configuraciones adecuadas.
Técnicas para documentar el razonamiento de los agentes
La XAI para agentes autónomos se apoya en un conjunto de técnicas emergentes que van desde la captura estructurada de decisiones hasta la generación de explicaciones contrafactuales.
Trazas de decisión como primer-class objects
El concepto fundamental es que cada decisión debe ser un objeto de primera clase: traceable, consultable y enlazado causalmente.
Esto implica:
Plano de evidencia: Captura la base operativa de la decisión: procedencia de los datos, restricciones de actualidad, cobertura y estado de los conflictos entre fuentes .
Plano de traza de decisión: Registra cómo se ensambló y restringió la recomendación o acción: identificadores de recuperación, invocaciones de herramientas, verificaciones intermedias y evaluaciones de políticas.
Plano de resultados: Captura lo que ocurrió después de que la decisión fuera adoptada o la acción ejecutada: cambios en KPIs, incidencia de reversiones, frecuencia de anulaciones por operadores.
La investigación define dos propiedades críticas que deben diferenciarse en la implementación.
Completitud de la traza: ¿Contiene la traza registrada los artefactos mínimos necesarios para la reconstrucción y auditoría posteriores?
Suficiencia de la traza: ¿Muestran esos artefactos que la decisión era defendible en el momento en que se tomó, dadas la autoridad, actualidad, cobertura y estado de conflicto de la evidencia disponible?
Una traza puede ser completa pero revelar una base insuficiente para la acción. La auditabilidad exige ambas.
Explicaciones contrafactuales
Las explicaciones contrafactuales responden a la pregunta: «¿Qué habría ocurrido si…?»
Esta técnica, que se ha demostrado eficaz en la interacción humano-robot, permite a los usuarios comprender los límites de decisión del agente.
En flujos de trabajo agenticos, los contrafactuales pueden intervenir en cualquier parte del flujo.
Modificando la entrada (ej. «¿Qué decisión habrías tomado si el nivel de confianza fuera inferior al 80%?»)
Alterando el plan (ej. «¿Y si hubieras usado esta otra herramienta?»)
Cambiando el contexto de recuperación (ej. «¿Y si esta fuente no estuviera disponible?»)
Este enfoque es especialmente valioso porque los flujos de trabajo agenticos no producen una única decisión acotada, sino artefactos estructurados con múltiples salidas válidas.
Las técnicas tradicionales de XAI (basadas en pesos de características, gradientes o mapas de atención) son insuficientes en este contexto.
Explicaciones generadas con Agentic RAG
Un enfoque emergente y prometedor es el uso de arquitecturas Agentic RAG (Retrieval-Augmented Generation con agentes) para generar explicaciones automáticas y contextualizadas.
En lugar de depender de análisis post-hoc o plantillas predefinidas, este enfoque.
Captura datos del sistema en tiempo real a través de una plataforma de streaming de eventos.
Cura los mensajes para establecer vínculos causales entre eventos.
Utiliza un sistema multi-agente que recupera, verifica y refina iterativamente la información.
Genera explicaciones en lenguaje natural ancladas en datos verificables.
Los resultados empíricos en robótica autónoma muestran métricas prometedoras: Context Recall >85%, Faithfulness >78%, Semantic Similarity ~96%, y puntuaciones de Corrección del 97.5-100% en evaluaciones humanas.
Implementando la trazabilidad de decisiones: Guía práctica
El principio fundamental: El «control en el límite»
Un principio que emerge de la investigación es que la explicabilidad no puede confiarse al modelo como una mera instrucción en el prompt.
Las explicaciones generadas por el modelo son persuasivas, pero pueden ser erróneas o incompletas.
Como señala FutureAGI: «Un párrafo plausible no es evidencia a menos que esté vinculado a trazas, fuentes, políticas y decisiones».
El enfoque correcto es diseñar la explicabilidad en la arquitectura.
Instrumentación desde el diseño: Cada paso del agente debe dejar una traza estructurada (no un simple log de texto).
La traza debe incluir: versión del prompt, IDs de contexto recuperado, argumentos de herramientas, resultado de evaluaciones, estado de guardarraíles y decisiones de política.
Evaluadores específicos: Utilizar evaluadores como Groundedness (¿está la respuesta respaldada por el contexto recuperado?), ChunkAttribution (¿qué fragmentos aportaron la evidencia?), y ReasoningQuality (¿los pasos del agente respaldan el resultado?).
Panel de control de cumplimiento: La telemetría en tiempo real debe alimentar un cuadro de mando que detecte desviaciones de los límites de rendimiento especificados.
Herramientas para la trazabilidad
El ecosistema de herramientas para la trazabilidad de agentes está madurando rápidamente. Un ejemplo representativo es Semantica, que se posiciona como una «capa de contexto y responsabilidad» para sistemas de IA.
Grafos de contexto: Estructura consultable de todo lo que el agente sabe, decide y razona.
Inteligencia de decisión: Cada decisión es un objeto de primera clase: traceable, consultable por precedente y causalmente vinculado.
Procedencia completa: Cumple con el estándar W3C PROV-O para procedencia, con pistas de auditoría exportables a JSON, CSV o RDF.
Motores de razonamiento: Encadenamiento hacia adelante, redes Rete, Datalog y SPARQL, con caminos completamente explicables.
Cumplimiento de políticas: Aplicación de políticas, restricciones SHACL, detección de conflictos y verificaciones de reglas de cumplimiento integradas.
El valor diferencial de este tipo de herramientas es que responden a la pregunta que reguladores y auditores están formulando con urgencia creciente: «¿Puedes demostrar qué decidió tu IA, por qué y si cumplió con la política?».
Streaming y observabilidad en tiempo real
La observabilidad en tiempo real es un habilitador crítico para la trazabilidad.
Las arquitecturas agenticas deben implementar streaming para permitir la visibilidad de las llamadas a herramientas a medida que ocurren, especialmente en solicitudes de larga duración.
Esto no es solo una ventaja técnica; es un requisito para la auditabilidad.
Los auditores necesitan poder inspeccionar la ejecución paso a paso, no solo el resultado final.
El streaming de llamadas a herramientas y la exposición del razonamiento intermedio (con las debidas salvaguardas de privacidad y seguridad) son prácticas recomendadas emergentes.
Marcos de auditoría: El estándar emergente
El enfoque «Tres planos» para la auditoría
La literatura de investigación está convergiendo en un marco de auditoría estructurado en tres planos que debe ser implementado por cualquier sistema agentico que aspire a ser auditable.
Plano de evidencia: ¿Cuál fue la base operativa de la decisión?
Esto incluye:
Procedencia de los datos (origen, autoridad)
Restricciones de actualidad (¿cuándo se obtuvieron los datos?)
Cobertura (¿qué información estaba disponible? ¿qué faltaba?)
Estado de conflicto entre fuentes (¿había contradicciones?)
Plano de traza de decisión: ¿Cómo se ensambló la decisión?
Identificadores de recuperación (¿qué contexto se recuperó?)
Invocaciones de herramientas (¿qué herramientas se usaron, con qué argumentos?)
Verificaciones intermedias (¿qué condiciones se comprobaron?)
Evaluaciones de políticas (¿qué reglas se aplicaron?)
Plano de resultados: ¿Qué ocurrió después?
Cambios en KPIs (¿cuál fue el impacto?)
Incidencia de reversiones (¿hubo que deshacer algo?)
Frecuencia de anulaciones por operadores (¿con qué frecuencia los humanos intervinieron?)
Recidiva (¿se repitió el mismo patrón de error?)
Preguntas que un auditor debe poder responder
El investigador principal del marco de auditabilidad propone un conjunto de preguntas que cualquier sistema agentico auditable debe poder responder:
¿Qué vio el agente? (evidencia disponible)
¿Qué hizo el agente? (acciones ejecutadas)
¿Qué restricciones se verificaron? (controles aplicados)
¿Qué se ejecutó y qué no? (resultados de acciones)
¿Cómo se supervisaron los resultados? (monitorización posterior)
Estas preguntas no son académicas; son las que un regulador formulará en caso de incidente o en una auditoría de cumplimiento.
El papel de la supervisión humana
La supervisión humana no es una alternativa a la explicabilidad; es un complemento necesario.
El EU AI Act exige que los sistemas de alto riesgo permitan la intervención humana efectiva . Esto implica:
Capacidad de anulación: los humanos deben poder anular las decisiones del agente.
Protocolos de escalamiento: las decisiones de alto riesgo o de baja confianza deben escalarse a revisión humana.
Registros de supervisión: las anulaciones y escalamientos deben registrarse como parte de la pista de auditoría.
La plataforma Rasa lo expresa con claridad: «Con Rasa, la lógica auditable es tuya.
Los equipos pueden señalar el flujo que rigió un resultado, mostrar el evento registrado que lo documenta y poner un humano en el bucle en los pasos que importan».
Errores comunes en la implementación de XAI para agentes
La investigación y la práctica están identificando patrones de error recurrentes que socavan la auditabilidad de los agentes.
Tratar la XAI como una justificación generada por el modelo: Un párrafo plausible no es evidencia. Las explicaciones deben estar vinculadas a trazas, fuentes, políticas y decisiones.
Usar SHAP o LIME para agentes mientras se ignora la recuperación, las llamadas a herramientas y el estado de los guardarraíles: Las técnicas de modelos aislados son insuficientes para sistemas agenticos.
Explicar solo las respuestas aprobadas: Las denegaciones, rechazos y escalamientos necesitan la evidencia más clara, porque son los que generan disputas.
Promediar la calidad de las explicaciones entre cohortes: Los flujos de baja frecuencia y alto riesgo pueden desaparecer dentro de una tasa de aprobación global aceptable.
Registrarlo todo para siempre: La evidencia de XAI sigue necesitando enmascaramiento de datos personales, políticas de retención y control de acceso de los revisores.
Confundir explicabilidad con interpretabilidad: La interpretabilidad se centra en los aspectos internos del modelo; la explicabilidad es más amplia: empaqueta la evidencia en una explicación utilizable por humanos para usuarios, revisores, ingenieros y auditores.
Conclusión: La confianza se construye con evidencia, no con promesas
La IA explicable para agentes autónomos no es un lujo académico ni una casilla de verificación de cumplimiento.
Es el fundamento sobre el que se construye la confianza en sistemas que toman decisiones autónomas en nombre de las organizaciones.
El mensaje clave que emerge de la investigación más reciente es inequívoco.
«La autonomía en flujos de trabajo operativos solo es defendible cuando es auditable.
La auditabilidad no es una propiedad narrativa; es una propiedad operativa que debe diseñarse en el sistema.»
Las organizaciones que aborden la explicabilidad como un requisito de diseño desde el inicio, instrumentando cada decisión, registrando cada traza, implementando evaluadores de evidencia, estarán preparadas para el escrutinio regulatorio, para las disputas de clientes y para la confianza interna que necesitan para escalar sus implementaciones de agentes.
Aquellas que esperen, o que confíen en que el modelo «se explicará a sí mismo», se enfrentarán a la realidad de que un modelo puede ser persuasivo sin ser verdadero, y que ninguna explicación generada puede sustituir a una pista de auditoría verificable.
Autoridad y fuentes
Este análisis se basa en una síntesis de fuentes de máxima credibilidad en el campo de la IA explicable y la auditabilidad de agentes autónomos.
Investigación académica revisada por pares: Artículo sobre auditabilidad de agentes LLM para toma de decisiones operacionales (ScienceDirect, 2026) ; Análisis de especificaciones técnicas del Artículo 13 del EU AI Act (Zenodo, 2026) ; Arquitectura Agentic RAG para generación de explicaciones en robótica autónoma (ScienceDirect, 2026) ; Marco de gobernanza de riesgos para IA agéntica (IEEE Xplore, 2026).
Estándares y marcos de la industria: Guía FutureAGI sobre XAI para sistemas LLM en producción ; Semantica como capa de responsabilidad para agentes de IA ; Documentación técnica de xAI sobre streaming y observabilidad de agentes.
Análisis legal y regulatorio: Freshfields sobre el Digital Omnibus on AI y el aplazamiento de obligaciones ; Rasa sobre implicaciones para organizaciones soberanas en datos ; Análisis del Artículo 13 del EU AI Act
Manu Duque
AI Visibility Specialist
ai-visibility.es
Te puede interesar;
De la Experimentación a la Revolución de la IA Agéntica
