La inteligencia artificial está dejando de ser solo una herramienta de consulta. Cada vez aparece más integrada en procesos internos, servicios digitales, operaciones técnicas y flujos de trabajo corporativos. Muchas entidades empezaron utilizándola para tareas acotadas, como generar textos, resumir documentos, clasificar información, preparar borradores o apoyar consultas internas. Ese primer uso ya planteaba riesgos, aunque el escenario actual es más exigente.
El cambio relevante aparece cuando la IA deja de limitarse a responder y empieza a actuar. Una solución puede consultar datos, invocar herramientas, priorizar incidencias, preparar comunicaciones, modificar configuraciones, iniciar flujos de aprobación o apoyar decisiones con impacto operativo, económico, jurídico o reputacional. En ese punto, la pregunta ya no es solo si la respuesta generada es correcta. La pregunta pasa a ser si la acción resultante está autorizada, si es trazable y si puede defenderse ante una auditoría, un regulador, un comité de dirección o la propia ciudadanía.
Este cambio obliga a revisar cómo se gobierna la IA dentro de una entidad. Los inventarios de modelos, las políticas internas, los cuestionarios de evaluación, las aprobaciones previas y los registros documentales siguen siendo necesarios. Pero ya no bastan cuando estos sistemas intervienen en procesos reales. La gobernanza debe llegar a la operación, al momento en el que una decisión puede convertirse en una consecuencia.
En el ecosistema gallego, esta cuestión será cada vez más relevante para administraciones públicas, entidades locales, tejido empresarial, industria, proveedores TIC, pymes y servicios esenciales. La IA se está incorporando de forma progresiva a servicios digitales, soporte interno, análisis documental, automatización de procesos, atención a usuarios, gestión de incidencias y toma de decisiones asistida. Ese avance puede aportar eficiencia y capacidad de análisis, siempre que existan límites claros, controles proporcionados y responsabilidades bien definidas.
Esta cuestión puede parecer abstracta, pero deja de serlo en cuanto la IA se conecta a un expediente, una bandeja de entrada, una herramienta de soporte, una consola de administración o un sistema que contiene datos personales. En ese momento, la gobernanza deja de ser una cuestión teórica y pasa a formar parte de la operación diaria.
El problema de delegar autoridad sin controles suficientes
Uno de los principales retos de la IA aplicada a procesos corporativos es la delegación de autoridad. Una administración, empresa o proveedor tecnológico puede permitir que una solución acceda a información, proponga decisiones, interactúe con herramientas o ejecute determinadas acciones. Cada una de esas capacidades debe estar asociada a un alcance concreto.
El riesgo no está solo en que un sistema genere una respuesta errónea. El riesgo aumenta cuando esa respuesta se convierte en una acción. Puede tratarse de modificar una configuración, enviar una comunicación, iniciar una transacción, priorizar una incidencia, aceptar una solicitud, rechazar una operación, activar un procedimiento, consultar datos personales o actuar sobre un sistema crítico.
En una administración pública, por ejemplo, una IA puede ayudar a preparar una respuesta a un ciudadano, pero no necesariamente enviarla sin revisión. Puede clasificar una solicitud, pero no resolverla por sí sola. Puede detectar una anomalía en un sistema, pero no tener autoridad para bloquear una cuenta, desconectar un servicio o modificar una configuración. En una empresa, puede apoyar un proceso de compra, pero no iniciar una obligación económica sin controles adicionales.
El problema no tiene por qué ser una IA maliciosa. Puede estar en objetivos poco precisos, permisos excesivos, contexto insuficiente, controles débiles, ausencia de revisión proporcional o falta de mecanismos para detener una acción antes de que produzca consecuencias.
La capacidad técnica y la autoridad organizativa no son lo mismo. Una herramienta puede consultar una base de datos, recomendar una acción o automatizar una tarea, pero eso no implica que pueda hacerlo para cualquier finalidad ni que la entidad haya delegado en ella la responsabilidad sobre el resultado.
La idea de fondo es sencilla. La inteligencia no equivale a autoridad. Un sistema puede tomar una decisión sin tener derecho a tomarla. Puede ejecutar una acción sin estar autorizado para hacerlo. Puede disponer de información sin tener una base legítima para utilizarla en un contexto concreto.
GRC de IA y aplicación de la gobernanza, el riesgo y el cumplimiento
El gobierno de la inteligencia artificial no exige abandonar todo lo aprendido en materia de gobernanza, riesgo y cumplimiento. La IA introduce nuevas capacidades, mayor velocidad, incertidumbres específicas y riesgos propios, pero el problema de fondo sigue siendo reconocible. Las entidades necesitan alcanzar objetivos, gestionar incertidumbre y actuar con integridad.
Este enfoque suele agruparse bajo el concepto de GRC de IA, que aplica de forma coordinada la gobernanza, la gestión del riesgo y el cumplimiento al ciclo de vida y a la operación de la inteligencia artificial. La diferencia frente a otros ámbitos tecnológicos es que estos sistemas pueden participar cada vez más en decisiones y acciones que antes dependían de personas, procedimientos internos o aplicaciones más previsibles.
La gobernanza de la IA debe aclarar para qué existe cada sistema, qué objetivo persigue, qué decisiones puede apoyar, qué decisiones puede tomar, qué acciones puede ejecutar, qué autoridad se le ha delegado, dónde termina esa autoridad, quién conserva la responsabilidad y en qué situaciones debe intervenir una persona.
La gestión del riesgo debe centrarse en la incertidumbre asociada a esos objetivos y decisiones. No basta con analizar si un modelo puede generar información incorrecta, desviarse de su comportamiento esperado, ser manipulado o exponer datos. Es necesario valorar el contexto completo, incluyendo el nivel de autonomía, la criticidad del proceso, el impacto potencial, los datos utilizados, las dependencias tecnológicas, los permisos, los controles existentes y las consecuencias de una actuación inadecuada.
El cumplimiento tampoco puede limitarse a una comprobación formal. La IA no actúa en el vacío. Cada uso queda condicionado por normas, contratos, políticas internas, compromisos con usuarios o clientes, requisitos de seguridad, protección de datos y criterios de responsabilidad. Una decisión puede ser técnicamente posible y aun así no ser defendible desde el punto de vista jurídico, contractual, reputacional o ético.
En el marco europeo, esta evolución conecta con obligaciones y expectativas presentes en el Reglamento Europeo de Inteligencia Artificial, el RGPD, el ENS, la Directiva NIS2 y otros marcos aplicables según el tipo de entidad, sector y servicio. La supervisión humana, la transparencia, la seguridad, la trazabilidad, la protección de datos y la capacidad de explicar una decisión adquieren mayor peso cuando la IA deja de ser un asistente y pasa a intervenir en servicios públicos, procesos internos o actividades de negocio.
Tres capas para una GRC de IA madura
Una forma práctica de ordenar este modelo es pensar en tres capas complementarias. No funcionan por separado. Su valor está en operar como una misma arquitectura de gobierno.
La primera capa es el contexto de gobierno. Incluye inventarios de modelos y agentes, identificación de propietarios, políticas, objetivos, riesgos, controles, evaluaciones, aprobaciones, flujos de trabajo, incidentes, excepciones, evidencias y responsabilidades. Su función es establecer qué debería ser cierto según el marco definido por la entidad.
Esta base sigue siendo imprescindible. Sin inventario, propietarios, evaluación de riesgos y políticas claras, una entidad no puede saber qué soluciones utiliza ni bajo qué condiciones deberían operar. Pero en entornos de IA avanzada el inventario de modelos se queda corto. También hay que comprender los procesos en los que se integran, las herramientas que pueden invocar, los datos a los que acceden, los sistemas que pueden modificar y las relaciones entre distintos agentes o componentes.
La segunda capa es la inteligencia continua. Su función es comprobar qué está ocurriendo realmente en el entorno operativo. Los modelos se actualizan, los permisos cambian, los datos varían, las configuraciones derivan, las API evolucionan y los servicios de terceros introducen nuevas versiones. Una evaluación aprobada hace unos meses puede dejar de reflejar la situación actual.
Esta capa debe recoger señales de observabilidad, evaluación de rendimiento, monitorización continua de controles, telemetría de seguridad e identidad, uso de datos, evidencias de cumplimiento y eventos relevantes. Su objetivo no es solo ver qué hace la IA. También debe interpretar si ese comportamiento sigue siendo coherente con los objetivos, límites, riesgos y obligaciones definidos.
La tercera capa es el control en tiempo de ejecución. Es la más crítica cuando la IA pasa de responder a actuar. Aquí ya no basta con saber si el sistema fue aprobado o si figura como conforme en un registro. Lo importante es determinar si una acción concreta, en un momento concreto y bajo unas condiciones concretas, debe permitirse.
Ese control debe valorar si el agente está autorizado, si utiliza una versión aprobada, si el objetivo es legítimo, si la acción entra dentro del alcance delegado, si los datos usados son adecuados, si los controles siguen funcionando, si existe una excepción activa, si se superan los umbrales permitidos o si la incertidumbre exige revisión humana.
La respuesta no tiene por qué ser siempre permitir o bloquear. En función del contexto, puede bastar con registrar la acción. En otros casos será necesario limitarla, pedir evidencia adicional, reducir permisos, elevar la decisión a una persona, registrar una excepción, retrasar la ejecución o detenerla completamente.
Gobernar el sistema no es lo mismo que gobernar la decisión
Una entidad puede haber hecho correctamente el trabajo previo. Puede haber inventariado el sistema, asignado un propietario, evaluado los riesgos, aprobado el caso de uso, definido controles, realizado pruebas de rendimiento y desplegado la solución de forma controlada. Sobre el papel, el sistema puede estar gobernado.
Eso no garantiza que cada decisión individual generada por ese sistema sea adecuada, defendible o autorizada.
Un modelo puede funcionar según lo diseñado y producir una mala respuesta en un caso concreto. Una solución puede mantenerse dentro de sus métricas aceptadas y aun así emitir una recomendación sin evidencia suficiente. Un agente puede tener permisos legítimos sobre una base de datos, pero intentar utilizarlos para una finalidad no autorizada.
Por eso, la garantía de la decisión se vuelve esencial. No basta con confiar en que el sistema fue aprobado. Debe existir capacidad para evaluar si una salida, recomendación o acción concreta cuenta con evidencia suficiente, autoridad adecuada, trazabilidad y coherencia con el contexto.
Este punto será especialmente importante en sectores regulados o con decisiones de alto impacto, como administración pública, servicios financieros, sanidad, industria, energía, telecomunicaciones, educación o servicios esenciales. En estos ámbitos, la entidad deberá poder explicar no solo qué sistema utilizó, sino por qué se tomó una decisión concreta y bajo qué controles.
Una decisión no podrá justificarse únicamente en que fue generada por un modelo. Habrá que demostrar que existía una finalidad legítima, que los datos empleados eran adecuados, que el sistema actuó dentro de los límites autorizados y que los controles eran proporcionales al nivel de riesgo.
La supervisión humana debe estar diseñada
La supervisión humana suele mencionarse como respuesta general a los riesgos de la IA. Es una medida importante, pero por sí sola no garantiza un control efectivo.
Para que aporte valor, debe estar diseñada. Hay que definir qué persona interviene, en qué momento, con qué información, con qué autoridad, contra qué criterios y dentro de qué plazo. También debe quedar claro qué ocurre si la persona discrepa de la recomendación de la IA o si no dispone de información suficiente para decidir.
De lo contrario, la supervisión humana puede convertirse en una formalidad. Una persona que recibe cientos de aprobaciones automáticas al día y pulsa aceptar para no bloquear el trabajo puede estar técnicamente dentro del proceso, pero no está ejerciendo una supervisión real.
La intervención humana debería reservarse para los puntos donde aporta valor, especialmente ante decisiones ambiguas, consecuencias relevantes, excepciones, umbrales de riesgo, conflictos normativos, falta de evidencia o situaciones en las que la entidad no quiera delegar completamente la autoridad en un sistema autónomo.
El objetivo no es colocar una persona entre cada acción de la IA y cada proceso corporativo. El objetivo es definir una autonomía gobernada que permita a la IA aportar valor, pero dentro de un margen de actuación claramente establecido.
La confianza en la IA debe ser dinámica
En muchas entidades se habla de IA confiable como si la confianza fuera una condición permanente obtenida en el momento de aprobación del sistema. Ese enfoque es insuficiente. La confianza debe ser contextual, condicional y dinámica.
Un agente puede ser confiable para resumir una política interna, pero no para modificarla. Puede ser adecuado para identificar operaciones sospechosas, pero no para bloquear cuentas. Puede estar autorizado a realizar compras por debajo de un determinado umbral, pero requerir aprobación humana por encima de ese límite. También puede operar correctamente hoy y dejar de ser confiable mañana si cambian sus permisos, sus datos, su configuración, su modelo base o el contexto regulatorio.
Por eso, un modelo maduro de GRC de IA debe mantener una evaluación continua de las condiciones que justifican la confianza depositada en el sistema. La primera capa define bajo qué condiciones se considera aceptable su uso. La segunda verifica si esas condiciones siguen cumpliéndose. La tercera decide si una acción concreta entra dentro de los límites de esa confianza.
La confianza no debería entenderse como una certificación estática. Debe funcionar como un estado de gobierno que se reevalúa durante la operación. Esto resulta especialmente importante cuando la IA se integra con herramientas corporativas, sistemas de identidad, repositorios documentales, plataformas de gestión, aplicaciones de negocio o entornos cloud.
La trazabilidad debe reconstruir la decisión de principio a fin
El avance de la IA autónoma también cambia el concepto de evidencia y trazabilidad. Tradicionalmente, una pista de auditoría podía demostrar que una política fue aprobada, que un control fue probado, que una evaluación fue completada o que una excepción fue aceptada.
En el caso de la IA con capacidad de decisión o acción, eso no basta. Será necesario reconstruir la historia completa de una decisión relevante. La entidad deberá poder explicar qué sistema actuó, qué versión utilizaba, qué configuración estaba activa, qué objetivo perseguía, qué datos consultó, qué evidencias tuvo en cuenta, qué controles aplicaban, qué nivel de autoridad se le había delegado, si hubo revisión humana y qué consecuencias se produjeron después.
Esta trazabilidad no es solo un requisito técnico. Es una condición de responsabilidad. En algún momento, un regulador, auditor, cliente, comité de dirección o responsable interno puede preguntar por qué se tomó una determinada decisión. La respuesta tendrá que apoyarse en evidencias, no en una referencia genérica al uso de inteligencia artificial.
Una trazabilidad madura debería permitir reconstruir la decisión de principio a fin. Debería identificar qué sistema o agente actuó, qué objetivo perseguía, qué datos utilizó, qué permisos tenía, qué controles se aplicaron, qué validaciones se realizaron, quién autorizó la consecuencia y qué impacto tuvo la acción. Este nivel de detalle será esencial para auditoría, cumplimiento normativo, gestión de incidentes, investigación interna y rendición de cuentas.
Habilitar la IA sin caer en el bloqueo
Una buena gobernanza de la IA no debería convertirse en un obstáculo sistemático para la innovación. Si la respuesta al riesgo consiste únicamente en centralizar, prohibir, ralentizar o someter cualquier uso a procesos excesivamente pesados, es probable que aparezca IA en la sombra. Los equipos seguirán teniendo objetivos que cumplir y, si los canales oficiales no permiten avanzar, buscarán alternativas no controladas.
El objetivo de la GRC de IA no es detener la tecnología, sino permitir su uso con garantías. Una administración, empresa o proveedor con inventario claro, propietarios definidos, límites de autoridad, controles continuos, criterios de decisión, evidencias y mecanismos de intervención puede permitir mayores niveles de autonomía que otra entidad que solo dispone de políticas genéricas y evaluaciones puntuales.
La gobernanza no debe entenderse como freno, sino como habilitador. La autonomía puede ser positiva si está bien delimitada. El riesgo no está en que la IA actúe, sino en que lo haga sin límites claros, sin contexto, sin supervisión proporcional, sin trazabilidad y sin capacidad de intervención.
Conviene evitar dos extremos. Por un lado, la autonomía sin control, donde los sistemas actúan sin límites claros ni mecanismos de rendición de cuentas. Por otro, una gobernanza excesivamente rígida que impide cualquier uso práctico y empuja a los equipos hacia soluciones no autorizadas. Entre ambos extremos se sitúa la autonomía gobernada, entendida como capacidad de actuación dentro de límites definidos y verificables.
Implicaciones prácticas para las organizaciones
Las organizaciones que ya utilizan IA o prevén implantar sistemas más autónomos deberían empezar por ir más allá del inventario de herramientas. No basta con saber qué soluciones están en uso. Es necesario identificar qué procesos soportan, qué decisiones influyen, qué datos manejan, qué acciones pueden ejecutar y qué terceros participan.
También deben definir derechos de decisión. Cada sistema o agente necesita un alcance claro de autoridad. Debe quedar determinado qué puede hacer, qué no puede hacer, cuándo debe pedir aprobación, cuándo debe escalar y quién puede suspender su operación.
Otro punto clave es conectar la gobernanza documental con la realidad operativa. Las políticas y aprobaciones deben estar vinculadas a señales técnicas, evidencias, configuraciones, permisos, eventos y controles en funcionamiento. De lo contrario, el marco de gobierno puede describir una situación que ya no coincide con la realidad.
Los controles en tiempo de ejecución serán cada vez más relevantes. En casos de bajo impacto puede bastar con registro y monitorización. En acciones críticas puede ser necesario bloqueo preventivo, revisión humana, doble validación, umbrales de autorización o limitación automática de permisos.
La trazabilidad específica para decisiones de IA también debe prepararse desde el diseño. Será necesaria para cumplimiento normativo, auditoría, defensa jurídica, gestión de incidentes y rendición de cuentas.
El papel de proveedores y terceros merece una revisión específica. Muchas capacidades de IA se integran a través de servicios externos, API, plataformas cloud, asistentes corporativos o funcionalidades embebidas en herramientas ya existentes. Esto exige evaluar dependencias, responsabilidades contractuales, ubicación y tratamiento de datos, controles de seguridad, transparencia del proveedor y capacidad de auditoría.
La formación de los equipos es otro elemento imprescindible. La gobernanza de IA no es solo una cuestión tecnológica o jurídica. Afecta a negocio, seguridad, cumplimiento, compras, recursos humanos, operaciones, dirección y usuarios finales. Las personas que diseñan, aprueban, usan o supervisan estos sistemas deben entender qué pueden delegar, qué no deberían delegar y cómo actuar ante resultados inciertos o inesperados.
También conviene evaluar los casos de uso antes de conectarlos a datos reales o sistemas productivos. Una prueba interna de bajo impacto puede cambiar de naturaleza si el sistema obtiene acceso a expedientes, información personal, herramientas de administración, repositorios corporativos o flujos de aprobación.
En entidades locales, administraciones públicas, industria, proveedores tecnológicos y pymes, estas implicaciones serán cada vez más relevantes a medida que la IA se incorpore a servicios digitales, atención a usuarios, automatización documental, soporte técnico, gestión de expedientes, operaciones internas y toma de decisiones asistida.
Un reto clave para la próxima década
La inteligencia artificial introduce una tensión nueva entre velocidad, autonomía y responsabilidad. Las decisiones automatizadas pueden producirse en segundos, mientras que la gobernanza tradicional suele operar en ciclos de semanas o meses. Esa diferencia obliga a crear mecanismos capaces de mantener alineados el estado declarado, el estado observado y el estado ejecutado.
La próxima etapa de la gobernanza de IA no consistirá únicamente en aprobar sistemas. También será necesario controlar comportamientos, decisiones y acciones durante su funcionamiento real. Será necesario contar con una arquitectura continua que conecte objetivos, riesgos, controles, obligaciones, evidencias, autoridad y capacidad de intervención.
La conclusión principal es clara. La IA puede aumentar la eficiencia, mejorar la capacidad de análisis y ampliar la autonomía operativa, pero esa autonomía debe estar gobernada. La capacidad técnica no equivale a permiso. La inteligencia no sustituye a la responsabilidad. Una decisión automatizada solo será defendible si la entidad puede explicar por qué se permitió, bajo qué condiciones y con qué controles.
A medida que la IA pase de generar respuestas a ejecutar acciones, la GRC de IA se perfila como uno de los principales retos de gobierno corporativo, seguridad, cumplimiento y gestión del riesgo. Para el ecosistema gallego, abordarlo de forma temprana contribuirá a reforzar la madurez digital, la confianza en los servicios digitales y la resiliencia de administraciones, empresas y sectores esenciales.
