A intelixencia artificial estase a incorporar ás organizacións por máis vías das que reflicten os seus inventarios tecnolóxicos. Un empregado utiliza unha ferramenta pública para resumir documentación. Un desenvolvedor conecta unha API externa. Un departamento activa unha funcionalidade de IA incluída nunha aplicación que xa utilizaba. Outro equipo crea un axente con acceso ao correo electrónico, repositorios documentais ou sistemas corporativos.
Algunhas destas ferramentas poden estar autorizadas. Outras non. O problema de fondo aparece cando a organización deixa de saber que intelixencia artificial intervén nos seus procesos, que datos utiliza, baixo que identidade opera, que permisos ten e que accións pode executar.
Ese espazo fóra do perímetro efectivo de gobernanza é o que converte o Shadow AI en algo máis complexo ca unha nova versión do coñecido Shadow IT.
O problema non comeza necesariamente cunha ferramenta non autorizada
O National Cyber Security Centre (NCSC) británico define Shadow AI como o uso de tecnoloxía de intelixencia artificial que queda fóra dos sistemas e procesos aprobados dunha organización e encádrao como unha manifestación do Shadow IT.
A definición é útil, pero o problema pode estenderse máis alá da simple presenza dunha aplicación non autorizada.
Mesmo unha plataforma de IA formalmente aprobada pode dar lugar a situacións equiparables a Shadow AI se aparecen casos de uso, integracións ou capacidades que quedan fóra dos mecanismos establecidos de goberno. Pode ocorrer cando un equipo conecta novos repositorios de información, habilita unha API, incorpora un modelo diferente ou crea un axente cuxos permisos nunca foron avaliados.
A plataforma está aprobada. O caso de uso pode non estalo.
Esta diferenza despraza o problema desde o inventario de produtos cara á gobernanza efectiva do uso da IA.
Saber que unha organización utiliza unha determinada plataforma xa non é suficiente. Tamén importa para que se utiliza, que información procesa, que integracións ten e que capacidade de actuación se lle concedeu.
Por iso, o inventario de IA non debería limitarse a unha lista de provedores e aplicacións. Debe incorporar os casos de uso e as capacidades asociadas.
Dos datos ás accións
O risco resulta relativamente sinxelo de visualizar cando unha persoa usuaria copia información confidencial nunha ferramenta pública.
Datos persoais, código fonte, documentación contractual, estratexias comerciais ou información de clientes poden acabar procesándose nun servizo que a organización non avaliou. Xorden entón preguntas sobre conservación, localización, reutilización, condicións contractuais, provedores e medidas de seguridade.
Cos axentes de IA aparece unha dimensión adicional.
Xa non abonda con preguntar que información pode consultar un sistema. Hai que preguntar que pode facer con ela.
Un axente pode dispoñer de ferramentas que lle permitan acceder ao correo, consultar un CRM, recuperar documentos, interactuar cunha base de datos, xerar código ou iniciar procesos noutras aplicacións.
As orientacións da Axencia Española de Protección de Datos sobre IA axéntica destacan precisamente características como a autonomía, a planificación, a interacción coa contorna e a capacidade de acción, xunto cos riscos adicionais que poden xurdir cando estes sistemas participan en tratamentos de datos persoais.
A diferenza entre unha ferramenta que proporciona información e un sistema capaz de executar accións adquire entón unha relevancia especial.
E aparece unha cuestión que debería formar parte do deseño de calquera sistema axéntico:
A capacidade técnica dun axente para realizar unha acción non significa que deba estar autorizado para executala.
Shadow AI tamén pode revelar un problema de goberno
É doado interpretar Shadow AI unicamente como un problema de comportamento das persoas usuarias. Na práctica, tamén pode revelar unha fenda entre o que necesitan os equipos e o que a organización lles permite utilizar.
O propio NCSC advirte de que o uso de Shadow AI non responde necesariamente a unha intención maliciosa. Pode aparecer cando o persoal intenta resolver necesidades lexítimas mediante ferramentas que non seguiron os procesos corporativos de aprobación.
As persoas usuarias atopan solucións capaces de automatizar tarefas, analizar documentos, xerar código ou reducir horas de traballo. Se as alternativas corporativas son insuficientes ou o procedemento para incorporar unha nova solución resulta excesivamente lento, aumenta o incentivo para buscar alternativas.
A resposta intuitiva pode ser bloquealas.
Pero unha estratexia baseada exclusivamente en prohibicións pode producir un resultado contraproducente: reducir o uso visible mentres despraza parte da actividade cara a contas persoais, aplicacións externas ou integracións máis difíciles de detectar.
Unha gobernanza excesivamente restritiva pode, polo tanto, reducir o risco visible mentres aumenta o risco invisible.
Isto non significa aceptar calquera ferramenta. Seguridade, tecnoloxía e cumprimento necesitan acompañar a adopción con alternativas corporativas razoables e procesos de avaliación proporcionais ao risco.
A formación tamén forma parte desta resposta. O artigo 4 do Regulamento Europeo de Intelixencia Artificial establece actualmente que os provedores e responsables do despregamento de sistemas de IA deben adoptar medidas para apoiar a promoción da alfabetización en materia de IA do seu persoal e das demais persoas que se encarguen no seu nome do funcionamento e utilización destes sistemas. Para iso deben terse en conta aspectos como os seus coñecementos técnicos, experiencia, educación e formación e o contexto no que se utilizarán os sistemas de IA.
Unha persoa dificilmente pode xestionar correctamente un risco que non sabe identificar.
Datos, identidades e permisos
Boa parte do problema de Shadow AI pode analizarse mediante tres preguntas: que datos utiliza, con que identidade actúa e que permisos ten.
A primeira conduce directamente á protección da información.
Os datos poden chegar a un sistema de IA por moitas vías. O prompt é só unha delas. Tamén poden incorporarse ficheiros, memoria, información recuperada mediante RAG, conectores corporativos, chamadas a ferramentas ou resultados procedentes doutros sistemas.
Nunha contorna axéntica, controlar unicamente o que unha persoa escribe no prompt resulta insuficiente.
O fluxo pode parecerse máis a:
persoa usuaria → axente → contexto → repositorio → ferramenta → modelo → acción → sistema externo
Cada transición introduce posibles decisións de acceso e novos fluxos de información que deben ser comprendidos e, cando corresponda, controlados.
A AEPD aborda nas súas orientacións a minimización e protección dos datos durante as diferentes etapas do ciclo dos axentes, así como cuestións relacionadas coa trazabilidade, as ferramentas, os permisos e a supervisión.
A segunda cuestión é a identidade.
Cando o deseño e a plataforma o permitan, as accións executadas por un axente deberían poder atribuírse de forma diferenciada e as súas autorizacións quedar delimitadas respecto das da persoa usuaria.
O obxectivo non é impoñer unha arquitectura IAM concreta, senón conservar atribución, mínimo privilexio, capacidade de revogación e auditabilidade.
A terceira cuestión son os permisos.
Un axente creado inicialmente para consultar documentación pode acabar obtendo capacidade para modificar rexistros, enviar mensaxes ou executar procesos. Se as súas capacidades evolucionan pero os seus riscos e autorizacións non volven ser avaliados, pode producirse unha acumulación silenciosa de privilexios.
Recuperar visibilidade antes de intentar controlar
Non se pode gobernar o que non se coñece.
O primeiro paso fronte ao Shadow AI consiste en descubrir o uso real da intelixencia artificial dentro da organización. Isto inclúe ferramentas non autorizadas, pero tamén novas capacidades de IA incorporadas a produtos xa existentes.
Subscricións descoñecidas, claves API creadas fóra das contornas establecidas, extensións do navegador, novos conectores, axentes desenvolvidos por equipos internos ou documentación corporativa enviada a servizos externos poden proporcionar sinais.
O obxectivo, con todo, non debería ser unicamente construír un catálogo de ferramentas.
Para cada caso de uso relevante interesa poder identificar quen é responsable, cal é a súa finalidade, que datos utiliza, que provedor e modelo interveñen, que sistemas integra, que permisos necesita e que grao de autonomía posúe.
O inventario deixa de ser unha lista de produtos e convértese nun mapa de capacidades, datos, identidades e accións.
Controis técnicos sen unha falsa sensación de cobertura
Existen tecnoloxías capaces de reducir parte do risco, pero ningunha resolve o Shadow AI por si soa.
Un AI Gateway, por exemplo, pode achegar autenticación, rexistro, aplicación de políticas e control sobre os fluxos de IA que a organización consiga centralizar a través del.
A súa limitación está precisamente aí.
Non necesariamente terá visibilidade sobre unha ferramenta SaaS utilizada directamente desde o navegador, unha conta persoal, un modelo executado localmente ou unha API que non atravese esa infraestrutura.
Algo semellante ocorre co DLP.
A prevención da perda de datos debe contemplar prompts e ficheiros, pero nas contornas axénticas os fluxos poden estenderse tamén a contextos recuperados, conectores e chamadas a ferramentas. Controlar unicamente o contido enviado inicialmente ao modelo pode ofrecer unha visión incompleta.
IAM achega outra peza. Persoas usuarias, servizos e axentes necesitan autorizacións coherentes coas súas funcións e mecanismos que permitan atribuír as accións realizadas.
Finalmente está a observabilidade.
Rexistrar unicamente que unha persoa utilizou un determinado modelo resulta insuficiente cando ese sistema pode executar accións. Neses casos interesa poder reconstruír que identidade iniciou a operación, que axente interveu, que recurso consultou, que ferramenta invocou, que acción realizou e cal foi o resultado.
A trazabilidade deixa de rematar no prompt. Debe alcanzar a acción.
Gobernar sen empurrar a IA cara á sombra
O obxectivo non debería ser permitir toda intelixencia artificial nin prohibila indiscriminadamente.
Non presenta o mesmo risco resumir documentación pública que proporcionar a un axente acceso a datos persoais ou permitirlle modificar un sistema de produción. Os controis deben responder a esas diferenzas.
Unha vía corporativa de adopción pode combinar solucións aprobadas, clasificación da información, avaliación de provedores, xestión de identidades, DLP, monitorización e regras claras sobre as accións que requiren intervención humana.
Tamén necesita mecanismos para incorporar novos usos sen converter cada solicitude nun proceso interminable.
O Regulamento Europeo de Intelixencia Artificial tampouco trata todos os usos da IA como unha categoría homoxénea. As obrigas dependen, entre outros elementos, do papel que desempeña cada operador e do sistema de IA correspondente.
Do mesmo xeito, a existencia de Shadow AI non implica automaticamente un incumprimento do Regulamento de IA ou do RXPD. A valoración dependerá do sistema, dos datos tratados, do papel da organización e do caso de uso concreto. Outros marcos de seguridade ou requisitos sectoriais poderán resultar aplicables en función da entidade e do servizo afectado.
Desde unha perspectiva GRC, o problema previo é máis elemental: resulta difícil avaliar riscos, demostrar cumprimento ou asignar responsabilidades sobre sistemas cuxa existencia ou utilización se descoñece.
Dun catálogo de IA a un modelo de goberno
Descubrir o uso real é unicamente o comezo. Despois hai que avaliar o risco, establecer controis, definir responsabilidades, monitorizar e volver avaliar cando cambien as capacidades ou o contexto.
A proporcionalidade importa.
Unha pequena organización pode comezar identificando ferramentas, establecendo que información non debe utilizarse en servizos externos e proporcionando alternativas aprobadas. Unha organización con centos de persoas usuarias, múltiples modelos, APIs, conectores e axentes necesitará probablemente inventarios máis dinámicos, controis de identidade, políticas de datos, avaliación de terceiros e unha maior observabilidade.
Cos axentes aparece ademais unha variable que non pode quedar fóra do goberno: a autoridade.
Non abonda con aprobar o modelo ou a plataforma. Hai que decidir que accións pode realizar o axente por si mesmo, cales requiren confirmación e cales non debe poder executar.
Ese límite pode cambiar en función do contexto, dos datos utilizados, do sistema afectado e do impacto potencial dunha acción.
Shadow AI non comeza unicamente cando unha persoa empregada utiliza unha ferramenta que non figura no catálogo corporativo. Tamén poden aparecer situacións equivalentes dentro de plataformas autorizadas cando xorden casos de uso, integracións ou axentes que quedan fóra dos mecanismos efectivos de goberno.
Por iso, coñecer o nome das ferramentas utilizadas xa non é suficiente.
O obxectivo é conservar visibilidade sobre que IA intervén, que datos utiliza, baixo que identidade opera, que permisos ten e que accións pode executar.
Cando algunha desas respostas desaparece, comeza o espazo no que medra o Shadow AI.
