El marco de gestión de riesgos de IA del NIST ayuda a las empresas a abordar los riesgos de la IA
Como ya comentamos anteriormente, a principios de este año el Instituto Nacional de Normas y Tecnología (NIST) puso en marcha el Centro de Recursos de Inteligencia Artificial Fiable y Responsable. En el Centro de Recursos de IA se incluye el Marco de Gestión de Riesgos de la IA (RMF) del NIST, junto con un manual para ayudar a empresas y particulares a aplicar el marco. El RMF está diseñado para ayudar a los usuarios y desarrolladores de IA a analizar y abordar los riesgos de los sistemas de IA, al tiempo que proporciona directrices prácticas y mejores prácticas para abordar y minimizar dichos riesgos. También pretende ser práctico y adaptable a los cambios que se produzcan a medida que las tecnologías de IA maduren y se hagan operativas.
La primera mitad del RMF analiza estos riesgos y la segunda cómo abordarlos. Cuando el RMF de IA se aplique correctamente, las organizaciones y los usuarios deberían ver mejorados los procesos, la concienciación y los conocimientos, y un mayor compromiso a la hora de trabajar con sistemas de IA. El RMF describe los sistemas de IA como "sistemas de ingeniería o basados en máquinas que pueden, para un conjunto determinado de objetivos, generar resultados como predicciones, recomendaciones o decisiones que influyen en entornos reales o virtuales". Los sistemas de IA están diseñados para funcionar con distintos niveles de autonomía".
Comprender y abordar los riesgos, impactos y daños de los sistemas de IA
La utilización de sistemas de IA ofrece a individuos y organizaciones (denominados colectivamente en el RMF "actores") un sinfín de beneficios, entre ellos el aumento de la productividad y la creatividad. Sin embargo, el RMF reconoce que los sistemas de IA, cuando se utilizan incorrectamente, también pueden perjudicar a las personas, las organizaciones y el público en general. Por ejemplo, el RMF señala que los sistemas de IA pueden amplificar la discriminación, crear riesgos de seguridad para las empresas y exacerbar los problemas del cambio climático. El RMF permite a los agentes abordar de forma coordinada los efectos positivos y negativos de los sistemas de IA.
Como entienden muchos profesionales de la ciberseguridad, el riesgo es una función de la probabilidad de que ocurra un suceso y del daño que podría resultar si ese suceso ocurre. Los resultados negativos pueden incluir daños a personas, organizaciones o un ecosistema. En la práctica, el riesgo es difícil de cuantificar con precisión, ya que puede haber una incertidumbre significativa en la probabilidad de que se produzca el suceso y a menudo es difícil reconocer los impactos de los daños en caso de que se produzca alguno de ellos. El RMF describe algunos de estos retos:
- Riesgos relacionados con software, hardware y datos de terceros: Aunque los datos o sistemas de terceros pueden ser útiles para acelerar el desarrollo de sistemas de IA, representan incógnitas que pueden complicar la medición del riesgo. Además, es posible que los usuarios de los sistemas de IA no los utilicen de la forma prevista por sus desarrolladores y proveedores. Los desarrolladores y proveedores de sistemas de IA pueden sorprenderse cuando el uso de los sistemas de IA en un sistema de producción es muy diferente al uso en un entorno de desarrollo controlado.
- Disponibilidad de métricas fiables: Calcular el impacto o daño potencial cuando se utilizan sistemas de IA es complejo y puede implicar muchos factores.
- Riesgo en las distintas fases del ciclo de vida de la IA: Los actores que utilicen un sistema comercial tendrán que enfrentarse a riesgos diferentes a los de un actor que construya y entrene su propio sistema.El RMF reconoce que las empresas necesitan determinar su propia tolerancia al riesgo, y algunas organizaciones pueden estar dispuestas a asumir más riesgos que otras, dependiendo de los contextos legales o normativos. Sin embargo, el RMF reconoce que abordar y minimizar todos los riesgos no es eficiente ni rentable, y las empresas deben priorizar qué riesgos abordar. De forma similar a cómo las empresas deben abordar los riesgos de ciberseguridad y privacidad de datos, el RMF sugiere que la gestión de riesgos se integre en las prácticas organizativas, ya que los diferentes riesgos se presentarán en diferentes etapas de las prácticas organizativas.
El RMF también reconoce que la fiabilidad es una característica clave de los sistemas de IA. La fiabilidad está ligada al comportamiento de los actores, a los conjuntos de datos utilizados por los sistemas de IA, al comportamiento de los usuarios y desarrolladores de los sistemas de IA y al modo en que los actores supervisan estos sistemas. El RMF sugiere que las siguientes características afectan a la fiabilidad de un sistema de IA:
- Validación y fiabilidad: Los actores deben poder confirmar que el sistema de IA ha cumplido unos requisitos específicos y que es capaz de funcionar sin fallos en determinadas condiciones.
- Seguridad: Los sistemas de IA no deben poner en peligro la vida humana, la salud, la propiedad o el medio ambiente.
- Seguridad y resistencia: Los sistemas de IA deben ser capaces de responder y recuperarse tanto de eventos adversos inesperados como de cambios.
- Responsabilidad y transparencia: Los agentes deben poder acceder a la información sobre los sistemas de IA y sus resultados.
- Explicabilidad e interpretabilidad: Los sistemas de IA deben ser capaces de proporcionar la cantidad adecuada de información a los actores y ofrecer un cierto nivel de comprensión.
- Mejora de la privacidad: Cuando proceda, las opciones de diseño de los sistemas de IA deben incorporar valores como el anonimato, la confidencialidad y el control.
- Se gestiona la imparcialidad con sesgos perjudiciales: Los sistemas de IA corren el riesgo de perpetuar y exacerbar la discriminación ya existente. Los actores deben estar preparados para prevenir y mitigar estos sesgos.
AI RMF Núcleo y perfiles de gestión de riesgos
En el núcleo del RMF de IA (RMF Core) hay funciones fundamentales diseñadas para proporcionar un marco que ayude a las empresas a desarrollar sistemas de IA fiables. Estas funciones son: gobernar, mapear, medir y gestionar, con la función "gobernar" diseñada para influir en cada una de las otras.
Figura 1: Núcleo de gestión de riesgos (NIST AI 100-1, página 20).
Cada una de estas funciones se desglosa a su vez en categorías y subcategorías diseñadas para lograr las funciones de alto nivel. Dado el gran número de subcategorías y acciones sugeridas, el RMF Core no pretende servir como una lista de comprobación que las empresas utilizan para simplemente "marcar la casilla". Por el contrario, el RMF de IA aconseja que la gestión de riesgos sea continua, oportuna y se realice a lo largo de todo el ciclo de vida de los sistemas de IA.
El RMF de IA también reconoce que no existe un enfoque único para la gestión de riesgos. Los actores deben construir un perfil específico para el caso de uso del sistema de IA y seleccionar las acciones apropiadas para realizar y lograr las cuatro funciones. Mientras que el RMF de IA describe el proceso, el libro de jugadas del RMF de IA proporciona descripciones detalladas e información útil sobre cómo aplicar el RMF de IA para algunas situaciones comunes (generalmente denominadas perfiles). Los perfiles del RMF variarán en función del sector, la tecnología o el uso específicos. Por ejemplo, un perfil para el contexto laboral sería diferente, y abordaría riesgos distintos, que un perfil para detectar riesgos de crédito y fraude.
El núcleo RMF está compuesto por las siguientes funciones:
- Gobernanza. Una gobernanza sólida es importante para desarrollar prácticas y normas internas fundamentales para mantener la gestión de riesgos de la organización. La función de gobernanza describe categorías para ayudar a aplicar las políticas y prácticas de las otras tres funciones, creando estructuras de rendición de cuentas, diversidad en el lugar de trabajo y procesos de accesibilidad para que los riesgos de IA sean evaluados por un equipo con diversos puntos de vista, y desarrollando equipos organizativos comprometidos con una cultura de prácticas de IA que den prioridad a la seguridad.
- Mapa. La función de mapa ayuda a los agentes a contextualizar los riesgos cuando utilizan sistemas de IA. Mediante la aplicación de las acciones previstas en el mapa, las organizaciones estarán en mejores condiciones de prever, evaluar y abordar las posibles fuentes de riesgos negativos. Algunas de las categorías de esta función son establecer y comprender el contexto de los sistemas de IA, categorizar el sistema de IA, comprender los riesgos y beneficios de todos los componentes del sistema de IA e identificar a las personas y grupos que pueden verse afectados.
- Medir. La función de medición utiliza herramientas cuantitativas y cualitativas para analizar y supervisar el riesgo de la IA y para que los actores evalúen el uso de sus sistemas de IA. Las mediciones deben hacer un seguimiento de varios objetivos, como las características de fiabilidad, el impacto social y la calidad de las interacciones entre humanos e IA. Las categorías de la función de medición incluyen la identificación y aplicación de métodos y métricas apropiados, la evaluación de los sistemas para determinar sus características de fiabilidad, la aplicación de mecanismos de seguimiento de los riesgos identificados a lo largo del tiempo y la recopilación de información sobre la eficacia de la medición.
- Gestionar. Tras determinar los riesgos pertinentes y el grado adecuado de tolerancia al riesgo, la función de gestión ayuda a las empresas a priorizar los riesgos, asignar los recursos apropiados para abordar los riesgos más elevados y permitir la supervisión periódica y la mejora del sistema de IA. Las categorías de la función de gestión incluyen la priorización de riesgos tras la evaluación del mapa y la medida, la elaboración de estrategias sobre cómo maximizar los beneficios de la IA y minimizar los daños de la IA, y la gestión del riesgo de la IA de terceros.
De este modo, el libro de jugadas ofrece sugerencias concretas y aplicables sobre cómo lograr las cuatro funciones.
Impacto en las empresas
El AI RMF ayuda a las empresas a desarrollar un sólido programa de gobernanza y a abordar los riesgos de sus sistemas de IA. Aunque el uso del RMF de IA no es actualmente obligatorio en virtud de ninguna propuesta de ley (incluida la Ley de Inteligencia Artificial de la UE), el RMF de IA, al igual que otras normas y orientaciones del NIST, resultará sin duda útil para ayudar a las empresas a cumplir los requisitos de análisis de riesgos de dichas leyes de forma estructurada y repetible. Por lo tanto, las empresas que se planteen proporcionar o utilizar sistemas de IA también deberían considerar el uso del RMF de IA para analizar y minimizar los riesgos. Es posible que se pida a las empresas que muestren la documentación de alto nivel producida como parte de su uso del RMF de IA a los reguladores y también pueden considerar la posibilidad de proporcionar dicha documentación a sus clientes para reducir las preocupaciones y aumentar la confianza.
Los autores agradecen la contribución de Mathew Cha, estudiante de la Facultad de Derecho de la UC Berkeley y asociado de verano 2023 en Foley & Lardner LLP.
