Estas conclusiones se recogen en el estudio 'What Happens When AI Stops Asking Permission?', elaborado por la consultora estratégica BCG, que ha subrayado la "urgencia" de replantear los enfoques de gestión del riesgo y de la calidad ante la irrupción de los agentes autónomos de IA. "La IA agencial redefine la gestión del riesgo y la calidad de los sistemas de inteligencia artificial", ha afirmado la managing director & partner de BCG, responsable global de IA y coautora del estudio, Anne Kleppe.
Kleppe ha señalado que "los agentes autónomos amplían de forma significativa las capacidades de las organizaciones, pero pueden desviarse de los resultados empresariales previstos". En este sentido, ha apuntado que "el principal desafío es mantenerlos alineados con la estrategia y los valores corporativos sin frenar su rapidez y autonomía".
Según la base de datos 'AI Incidents Database', los incidentes relacionados con la inteligencia artificial han aumentado un 21% entre 2024 y 2025, lo que confirma que los riesgos asociados a estos sistemas ya forman parte de la realidad operativa de las organizaciones y se traducen en exposiciones financieras, regulatorias y reputacionales relevantes.
BCG ha indicado que la adopción de agentes de IA está "modificando la naturaleza del riesgo operativo en múltiples industrias", en un contexto en el que la limitada supervisión humana directa con la que operan muchos de estos sistemas permite que las desviaciones de comportamiento escalen con rapidez, tensionando los modelos tradicionales de control y supervisión.
En ámbitos donde las decisiones inciden de forma directa en personas, clientes o cadenas de suministro, la lógica de optimización de estos sistemas ha incorporado nuevas tipologías de riesgo con potencial para generar resultados no deseados.
Entre otros ejemplos, BCG ha citado tensiones en la atención sanitaria, donde "la eficiencia puede desplazar la atención a los casos más críticos"; fricciones en la gestión bancaria derivadas de la dificultad para manejar excepciones complejas; o desajustes en procesos industriales causados por la falta de alineación entre agentes con objetivos distintos y no alineados, que dan lugar a fallos emergentes vinculados a dinámicas estructurales de la propia tecnología.
LOS AGENTES DE IA TOMAN DECISIONES AUTÓNOMAS EN EL 10% DE LAS EMPRESAS
Un informe reciente de BCG y MIT Sloan Management Review ha mostrado que, aunque solo el 10% de las empresas permiten actualmente que los agentes de IA tomen decisiones de forma autónoma, esta proporción podría elevarse hasta el 35% en los próximos tres años. En paralelo, el 69% de los ejecutivos ha coincidido en que la IA agencial requiere modelos de gestión fundamentalmente distintos.
En este contexto, BCG ha subrayado que la gestión del riesgo en la IA agencial debe comenzar antes de su despliegue. La firma ha remarcado que la adopción de agentes autónomos no resulta necesaria en todos los casos y que, en determinadas situaciones, los beneficios pueden alcanzarse mediante otras soluciones de inteligencia artificial con perfiles de riesgo más controlables.
El informe ha planteado un marco estructurado para cuando el uso de agentes está justificado, y así apoyar a responsables de riesgos, tecnología, operaciones y otros líderes ejecutivos en la gestión de estos sistemas. Entre las recomendaciones de este marco, BCG ha incluido "crear una taxonomía de riesgos específica para los agentes, identificando y mapeando los riesgos técnicos, operativos y relacionados con los usuarios".
Asimismo, el documento ha abogado por "simular condiciones reales antes de la implementación", mediante entornos de prueba que reproduzcan la complejidad del mundo real y permitan "detectar de forma temprana posibles modos de fallo". Igualmente, ha planteado la necesidad de "implementar la supervisión del comportamiento en tiempo real, desplazando el foco desde la revisión de la lógica interna hacia el seguimiento continuo del rendimiento y del comportamiento de los agentes".
Otra línea de actuación pasa por "diseñar protocolos de resiliencia y escala que aseguren que los sistemas respondan de forma segura ante fallos, con supervisión humana por capas y procesos que garanticen la continuidad del negocio". "La cuestión va más allá de la propia IA ya que afecta directamente a la continuidad del negocio", ha afirmado el managing director & partner de BCG, responsable de ética de IA y coautor del informe, Steven Mills.
Mills ha defendido que "los agentes de IA deben desplegarse de forma coherente con el apetito de riesgo de cada organización, incorporando controles desde la fase de diseño". "Solo así es posible capturar todo el valor de estos sistemas y a la par gestionar los nuevos tipos de riesgo que introducen", ha añadido.