Gobernanza de IA: 4 niveles de riesgo y quién aprueba

La gobernanza de IA es el conjunto de decisiones, roles y rutinas con que la dirección sabe qué sistemas de IA usa la empresa, en qué decisiones pesan y quién responde por cada uno. Pregunta en la próxima reunión cuántas IA usa hoy la empresa y vas a escuchar respuestas distintas del CIO, del área legal y de la dirección comercial, porque cada uno conoce una parte. El NIST, instituto de estándares del gobierno de Estados Unidos, publicó en enero de 2023 el AI Risk Management Framework, de uso voluntario, e incluyó entre los resultados de la función de gobernanza la existencia de mecanismos para inventariar los sistemas de IA (NIST, 2023). En diciembre del mismo año, ISO publicó la ISO/IEC 42001, que presenta como la primera norma de sistema de gestión de IA del mundo (ISO, 2023). En una empresa mediana, la gobernanza que funciona tiene inventario de casos de uso, matriz de riesgo en cuatro niveles, comité pequeño, dueño por caso, ciclo de aprobación con plazo, ruta de incidentes y cláusulas mínimas con proveedores, todo sostenido por la capacitación de quien ocupa cada rol.

En Iasbeck&Co implementamos CRM y agentes de IA en operaciones B2B, y escribí este texto para dirección, legal, TI y RR. HH. Las reglas para el colaborador están en política de uso de IA, y el estado de la ley europea y del proyecto de ley brasileño PL 2338/2023 está en regulación de IA. Aquí trato el nivel de arriba, cómo la empresa decide, aprueba, acompaña y apaga cada uso. El contenido es orientación de gestión y no sustituye una opinión jurídica.

¿Qué es la gobernanza de IA y en qué se diferencia de la política de uso?

La política de uso le dice al vendedor qué puede pegar en una herramienta y qué debe revisar antes de enviar. La gobernanza le dice a la empresa quién aprueba un agente que responde a clientes solo, con qué criterio, por cuánto tiempo y quién ordena apagarlo cuando sube la tasa de error. El equipo lee la política, y el liderazgo opera la gobernanza, con reunión, registro e indicador.

La unidad de la gobernanza es el caso de uso, que defino como una tarea concreta hecha con IA, sobre datos definidos, con un resultado que alguien consume. El mismo asistente corporativo puede resumir el acta de una reunión interna y, en la sala de al lado, ordenar currículos para el reclutador. La herramienta es la misma y el riesgo es otro, porque en el segundo caso la IA influye en una decisión sobre una persona, y quien gobierna por herramienta pierde esa diferencia.

La lógica repite la que la empresa aplica a los datos, con dueño, regla y rutina, y por eso el comité de IA necesita conversar con quien cuida la gobernanza de datos. Un agente que lee una base sin dueño hereda todos los problemas de esa base.

NIST AI RMF e ISO/IEC 42001: ¿qué referencias usar?

El NIST AI RMF 1.0 organiza la gestión de riesgos de IA en cuatro funciones. Map establece el contexto en que opera cada sistema, Measure analiza y sigue los riesgos con métodos cuantitativos y cualitativos, Manage asigna recursos para tratar los riesgos mapeados y medidos, y Govern es la función transversal que atraviesa las otras tres (NIST, 2023). Dentro de Govern, el documento pide inventario de los sistemas (GOVERN 1.6), un proceso para retirarlos sin aumentar riesgos (1.7), roles documentados (2.1), personas capacitadas (2.2), liderazgo ejecutivo responsable de las decisiones sobre riesgo (2.3) y políticas para riesgos de terceros (6.1). En julio de 2024, el instituto publicó el NIST AI 600-1, un perfil que aplica el mismo modelo a la IA generativa (NIST, 2024).

La ISO/IEC 42001:2023 especifica requisitos para establecer, implementar, mantener y mejorar de forma continua un sistema de gestión de IA, y vale para organizaciones de cualquier tamaño que desarrollan, proveen o usan productos y servicios basados en IA (ISO, 2023). Sistema de gestión, en el vocabulario de ISO, es el conjunto de políticas, objetivos y procesos con que la organización persigue esos objetivos. Mi lectura para la empresa mediana: usa el NIST, que es gratuito, como hoja de ruta de trabajo, y trata la ISO 42001 como referencia para el día en que un cliente grande pida evidencia formal de gobernanza.

¿Cómo hacer el inventario de usos y herramientas de IA?

El inventario tiene dos capas. La primera lista herramientas y proveedores, con contrato, licencias, quién paga y dónde queda el dato. La segunda lista los casos de uso, donde vive el riesgo, y cada herramienta puede aparecer en varios. Para encontrar lo que existe, cruza finanzas (suscripciones en la tarjeta y reembolsos), TI (aplicaciones con login corporativo), el administrador del CRM (agentes y automatizaciones activos) y una encuesta anónima a las áreas, que saca a la luz el uso por cuenta propia.

Falta todavía la fuente que casi nadie mira: las funciones de IA integradas en los sistemas ya contratados. CRM, plataforma de atención, ERP y grabador de reuniones ganaron asistentes y agentes en las últimas actualizaciones, y parte de ellos viene activada por defecto. En los inventarios que acompaño, esa IA integrada suele ser la parte que nadie listó, porque nadie compró nada nuevo.

Para cada caso, registra nombre, área, dueño, herramienta, datos que lee, lo que el caso produce o ejecuta, a quién afecta (cliente, candidato, empleado o solo el equipo), nivel de riesgo y fechas de aprobación y de próxima revisión. Los agentes entran con los campos que describí en agentes de IA. Una planilla resuelve hasta algunas decenas de casos, siempre que tenga dueño y revisión en el calendario del comité.

¿Cómo clasificar el riesgo de cada caso de uso de IA?

Clasifico cada caso con cinco preguntas: el resultado afecta a alguien fuera del equipo, la IA decide o solo sugiere, el contenido sale de la empresa sin revisión, hay dato personal o sensible, y el error es fácil de deshacer. Las respuestas llevan a uno de cuatro niveles, con exigencias proporcionales. El AI Act europeo y el PL 2338 brasileño usan la misma lógica por riesgo, con listas propias de alto riesgo que el área legal debe revisar. La matriz de abajo es el instrumento que llevo a la primera reunión del comité.

Nivel	Ejemplos	Revisión humana	Registro	Prueba antes de activar	Quién aprueba
1. Bajo	Resumen de documento interno, borrador de post, investigación de mercado	Quien usa revisa lo que aprovecha	Herramienta en el catálogo aprobado	Evaluación de la herramienta	El área, dentro de la política de uso
2. Moderado	Seguimiento redactado por agente, respuesta de ticket, resumen de llamada en el CRM	Una persona aprueba antes de que salga de la empresa	Caso en el inventario con dueño, datos y acciones	Algunas decenas de casos reales comparados con el trabajo del equipo	Dueño del caso y TI
3. Alto	Filtro de currículos, apoyo a la evaluación de desempeño, descuento o crédito automático, agente que ejecuta sin aprobación caso por caso	La IA recomienda y una persona decide, con registro de quién decidió	Ficha completa, historial de decisiones y canal de impugnación	Prueba de error y de sesgo por grupo, antes y en cada revisión	Comité, con opinión de legal y del encargado de datos
4. Prohibido	Reconocimiento de emociones de empleados, despido decidido por la IA, dato sensible en herramienta sin contrato	No aplica	Lista publicada	No aplica	Solo la dirección cambia la lista

Ante la duda entre dos niveles, el caso queda en el de arriba. La clasificación sigue al alcance, así que el agente que pasa de redactar a enviar solo vuelve al comité, aunque use la misma herramienta. En el nivel 3, alguien tiene que poder explicarle a la persona afectada por qué la decisión salió así, lo que conecta con la revisión de decisiones automatizadas de la ley brasileña de protección de datos (LGPD) que detallé en IA y LGPD.

Roles y responsabilidades: ¿quién es dueño de qué en la gobernanza de IA?

Traduzco la exigencia del NIST de un liderazgo ejecutivo responsable en un patrocinador con nombre en la dirección. Debajo de él quedan un comité pequeño y un dueño por caso, con TI, legal y RR. HH. en roles definidos. La tabla separa quién responde, quién aprueba y quién ejecuta, porque la confusión entre esos verbos produce la mayor parte de los casos sin dueño.

Rol	Responde por	Aprueba	Ejecuta
Dirección y patrocinador	Apetito de riesgo, presupuesto, lista de prohibidos	Cambios en la lista de prohibidos	Revisión trimestral del panel
Comité de IA (TI y seguridad, legal y encargado de datos, RR. HH., un liderazgo de negocio, RevOps)	Matriz, inventario, calendario de revisiones	Casos de nivel 3 y reclasificaciones	Reunión mensual y revisión posincidente
Dueño del caso (líder del área que consume el resultado)	Resultado y calidad de lo que produce la IA	Casos de nivel 1 y 2 del área, con TI	Ficha, revisión de 90 días, pedido de apagado
TI y seguridad	Evaluación técnica del proveedor, accesos, logs	Herramientas nuevas en el catálogo	Configuración y apagado técnico
Legal y encargado de datos	Base legal, contratos, transparencia, incidentes con dato personal	Cláusulas y opinión en el nivel 3	Revisión de contratos y de incidentes
RR. HH.	Capacitación e IA que afecta a candidatos y empleados	Uso en reclutamiento y desempeño, con el comité	Ruta de formación

El comité tiene que caber en una reunión de una hora al mes. Si aprueba cada caso, se vuelve una fila y devuelve a las áreas a sus herramientas por cuenta propia; por eso los niveles 1 y 2 se resuelven en el área, con TI, y el comité se queda con el nivel 3, las reclasificaciones y los incidentes. El dueño del caso viene del negocio: TI configura y protege, y quien sabe si el seguimiento del agente le sirve al cliente es la dirección comercial.

¿Cómo funciona el ciclo de aprobación de un nuevo caso de uso?

El ciclo empieza con una ficha de una página que llena el futuro dueño, con la línea de base del indicador desde el pedido, porque sin ella nadie puede decir después si el caso dio resultado, como detallé en ROI de IA. TI y el dueño proponen el nivel con la matriz. En el nivel 1, TI confirma que la herramienta está en el catálogo y el caso entra al inventario. En el nivel 2, TI evalúa al proveedor, el dueño corre la prueba y ambos aprueban con fecha de revisión. En el nivel 3, el caso va al comité con la prueba, la opinión legal y el diseño de quién decide y de cómo la persona afectada impugna.

Todo caso aprobado entra como piloto, con alcance limitado y criterio de apagado escrito antes de activar, como “tasa de corrección por encima del 20% durante dos meses” o “cualquier envío fuera del permiso”. En la revisión de 90 días, el dueño presenta indicador, correcciones, incidentes y costo, y el comité mantiene, reclasifica o apaga. El plazo también es regla: propongo algunos días para el nivel 1, hasta dos semanas para el 2 y el ciclo mensual del comité para el 3, publicados junto a la ficha.

Monitoreo e incidentes: ¿qué seguir cuando la IA entra en producción?

El NIST describe, en la función Manage, planes de monitoreo después de la implementación, con retroalimentación de los usuarios, impugnación y corrección del resultado, retiro, respuesta a incidentes y gestión de cambios (NIST, 2023). En la operación, eso se vuelve un panel mensual por caso con la tasa de corrección (la parte de lo que produjo la IA que el revisor editó o rechazó), los reclamos ligados al caso, el costo del mes y el resultado de una muestra auditada por el dueño. En el nivel 3, el comité mira también los resultados por grupo, para ver si el filtro descarta un perfil más que los otros.

El incidente de IA necesita una definición escrita: contenido indebido que llegó a un cliente, dato personal enviado a una herramienta fuera del catálogo, decisión impugnada por una persona afectada y agente que actuó fuera de su permiso. En la ruta, el dueño pausa el caso, TI preserva los registros, el comité evalúa la causa y el encargado de datos decide si corresponde comunicar a la autoridad brasileña de protección de datos (ANPD) y a los titulares, como prevé la LGPD para incidentes de seguridad con datos personales. La revisión termina con una decisión registrada, y apagar entra en la rutina: casos sin dueño, casos que fallaron el indicador en dos revisiones y herramientas discontinuadas salen del inventario con fecha y eliminación de los datos en el proveedor.

Proveedores y contratos de IA: ¿qué revisar antes de firmar?

Parte del riesgo vive en el contrato. El proveedor puede cambiar el modelo detrás de la herramienta y alterar el comportamiento de un caso que funcionaba, usar subcontratistas para procesar el dato y activar funciones nuevas sin aviso. En los niveles 2 y 3, legal y el encargado de datos revisan estas preguntas antes de firmar o en la siguiente renovación.

Cláusula	Pregunta al proveedor
Entrenamiento de modelos	¿Lo que enviamos entrena o mejora modelos, y cómo lo desactivamos?
Ubicación y subcontratistas	¿En qué países se procesa el dato y qué terceros, incluidos proveedores de modelo, participan?
Retención y eliminación	¿Por cuánto tiempo guardan prompts, archivos y respuestas, y cómo comprueban la eliminación?
Incidentes	¿En cuánto tiempo avisan un incidente con nuestros datos?
Cambio de modelo	¿Avisan antes de cambiar el modelo o activar funciones nuevas de IA?
Registros	¿Tenemos acceso a los logs de uso para auditoría interna?
Responsabilidad	¿Quién responde por la violación de derechos de terceros en el contenido generado?

Para cada caso de nivel 3, el dueño escribe también cómo trabaja el área si el proveedor se cae, porque el equipo que olvidó cómo operar sin la IA se detiene cuando el proveedor falla.

Capacitación: quién necesita aprender qué

El NIST trata la capacitación de las personas y de los socios como resultado de la propia gobernanza. La dirección aprende a leer el panel y a decidir el apetito de riesgo. El comité aplica la matriz y evalúa proveedores, los dueños llenan la ficha y conducen la revisión de 90 días, y los revisores de los niveles 2 y 3 aprenden qué revisar antes de aprobar. RR. HH. coordina la ruta y garantiza que quien usa IA sobre candidatos y empleados sepa explicar y revisar el resultado. Para medir, sigue los casos con dueño y revisión al día y las fichas que llegan completas en el primer intento.

Errores comunes en la gobernanza de IA

Gobernar la herramienta en lugar del caso de uso

Aprobar o bloquear una herramienta entera libera el uso de alto riesgo junto con el de bajo, o bloquea los dos. Clasifica el caso y usa el catálogo de herramientas como requisito previo.

Un comité que aprueba todo

En los proyectos que conduzco, las áreas dejan de pedir aprobación cuando la respuesta tarda más que contratar una herramienta con la tarjeta. Delega los niveles 1 y 2 y publica los plazos.

Un inventario hecho una sola vez

El inventario armado para una auditoría y olvidado describe la empresa de hace seis meses. Dale dueño, revisión mensual y una regla: caso fuera del inventario es caso no aprobado.

Olvidar la IA integrada en los sistemas contratados

Las funciones que llegan por actualización en el CRM, la atención y el ERP entran en producción sin ficha y sin dueño. Pregunta por las funciones de IA activas en cada renovación y en cada nota de versión relevante.

Aprobar sin criterio de apagado

Un caso aprobado sin condición de salida sigue corriendo por inercia, aunque el indicador empeore. Escribe el criterio en la ficha y exige la decisión en la revisión de 90 días.

Hoja de ruta de 30 días para el liderazgo

1. Días 1 a 5: nombra patrocinador y comité. La dirección elige al patrocinador, forma el comité y publica la primera lista de usos prohibidos.
2. Días 6 a 12: arma el inventario. Cruza finanzas, TI, administrador del CRM y encuesta anónima, y pide a cada dueño de sistema las funciones de IA activas.
3. Días 13 a 17: clasifica los casos. Aplica la matriz, dale un dueño a cada caso y pausa los de nivel 3 sin dueño o sin revisión humana.
4. Días 18 a 22: publica el ciclo de aprobación. Difunde la ficha, los plazos por nivel y el canal de pedidos, con fecha para regularizar lo que esté fuera del inventario.
5. Días 18 a 25: revisa los contratos. Legal revisa las cláusulas con los proveedores de nivel 2 y 3, empezando por los que tratan datos personales.
6. Días 23 a 27: activa el monitoreo. Define el panel mensual, escribe la definición de incidente y prueba la ruta con un caso simulado.
7. Días 28 a 30: capacita y agenda la revisión. Capacita al comité y a los dueños en la matriz y la ficha, presenta el inventario clasificado a la dirección y agenda la revisión trimestral.

La hoja de ruta pone la estructura en pie, y quienes hacen funcionar la gobernanza son las personas que llenan la ficha, revisan lo que produce la IA y deciden cuándo apagar. Ese es el trabajo del entrenamiento in company de IA aplicada, con grupos para dirección, comité, dueños de caso y equipos de ventas, marketing, CS y RR. HH., armado sobre los procesos de la empresa, que entrega la biblioteca de prompts por área y la arquitectura de agentes, con lo que cada agente lee, lo que ejecuta y quién aprueba, la base del inventario y de la clasificación por riesgo.

Preguntas frecuentes

¿Qué es la gobernanza de IA?

Es el conjunto de decisiones, roles y rutinas con que la empresa sabe qué sistemas de IA usa, clasifica el riesgo de cada caso de uso, aprueba los nuevos, acompaña los que están en producción y apaga los que dejaron de servir. Incluye inventario, matriz de riesgo, comité, dueños por caso, monitoreo, contratos con proveedores y capacitación.

¿Cuál es la diferencia entre gobernanza de IA y política de uso de IA?

La política de uso trae las reglas para el colaborador, como herramientas aprobadas, datos permitidos y revisión antes del envío. La gobernanza es el proceso del liderazgo que decide qué casos de uso existen, con qué nivel de riesgo, quién aprueba y cómo la empresa monitorea y responde a incidentes. La política es una de las piezas de la gobernanza.

¿La empresa necesita la certificación ISO/IEC 42001?

Ninguna ley brasileña exige la norma hoy. Para la mayoría de las empresas medianas, el NIST AI RMF sirve como hoja de ruta gratuita para montar la gobernanza, y la ISO/IEC 42001 se vuelve referencia cuando clientes grandes empiezan a pedir evidencia formal de gestión de IA en contratos o en due diligence.

¿Quién debe liderar la gobernanza de IA en la empresa?

Un patrocinador en la dirección, que responde por el apetito de riesgo, apoyado por un comité pequeño con TI y seguridad, legal y el encargado de datos, RR. HH., un liderazgo de negocio y RevOps. Cada caso de uso tiene un dueño en el área que consume el resultado, y TI configura y protege sin decidir sola sobre el riesgo de negocio.

¿Cómo clasificar el riesgo de un caso de uso de IA?

Responde si el resultado afecta a alguien fuera del equipo, si la IA decide o solo sugiere, si el contenido sale sin revisión, si hay dato personal o sensible y si el error es fácil de deshacer. Las respuestas llevan a uno de cuatro niveles, de bajo a prohibido, cada uno con exigencias propias de revisión humana, registro y prueba, y ante la duda el caso queda en el nivel de arriba.

¿Cómo preparar al equipo para la gobernanza de IA?

Capacita por rol: la dirección aprende a leer el panel y decidir el apetito de riesgo, el comité aplica la matriz y evalúa proveedores, los dueños llenan la ficha y conducen la revisión, y los revisores aprenden qué revisar antes de aprobar. Sigue cuántos casos están en el inventario con dueño y revisión al día y cuántas fichas llegan completas en el primer intento.