A estrutura de gestão de riscos de IA do NIST ajuda as empresas a lidar com os riscos de IA

Como discutimos anteriormente, no início deste ano, o Instituto Nacional de Padrões e Tecnologia (NIST) lançou o Centro de Recursos de IA Confiável e Responsável. Incluído no Centro de Recursos de IA está a Estrutura de Gerenciamento de Risco de IA (RMF) do NIST, juntamente com um manual para ajudar empresas e indivíduos a implementar a estrutura. O RMF foi concebido para ajudar os utilizadores e os criadores de IA a analisar e a abordar os riscos dos sistemas de IA, fornecendo simultaneamente orientações práticas e melhores práticas para abordar e minimizar esses riscos. Também se destina a ser prático e adaptável ao cenário em mudança, à medida que as tecnologias de IA continuam a amadurecer e a ser operacionalizadas.

A primeira metade do RMF discute estes riscos e a segunda metade discute a forma de os abordar. Quando o RMF da IA for corretamente implementado, as organizações e os utilizadores deverão assistir a processos melhorados, a uma maior sensibilização e conhecimento e a um maior envolvimento quando trabalharem com sistemas de IA. O RMF descreve os sistemas de IA como "sistemas concebidos ou baseados em máquinas que podem, para um determinado conjunto de objectivos, gerar resultados como previsões, recomendações ou decisões que influenciam ambientes reais ou virtuais. Os sistemas de IA são concebidos para funcionar com diferentes níveis de autonomia".

Compreender e abordar os riscos, os impactos e os danos dos sistemas de IA

A utilização de sistemas de IA oferece a indivíduos e organizações (coletivamente referidos no RMF como "actores") uma miríade de benefícios, incluindo o aumento da produtividade e da criatividade. No entanto, o RMF reconhece que os sistemas de IA, quando utilizados incorretamente, também podem prejudicar os indivíduos, as organizações e o público em geral. Por exemplo, o RMF sublinha que os sistemas de IA podem amplificar a discriminação, criar riscos de segurança para as empresas e agravar as questões relacionadas com as alterações climáticas. O RMF permite que os actores abordem os impactos positivos e negativos dos sistemas de IA de uma forma coordenada.

Tal como muitos profissionais de cibersegurança compreendem, o risco é uma função da probabilidade de ocorrência de um evento e dos danos que podem resultar se esse evento ocorrer. Os resultados negativos podem incluir danos para pessoas, organizações ou um ecossistema. Na prática, o risco é difícil de quantificar com precisão, uma vez que pode haver uma incerteza significativa quanto à probabilidade de ocorrência do evento e é muitas vezes difícil reconhecer os impactos dos danos, caso algum deles ocorra. O RMF descreve alguns destes desafios, nomeadamente

• Riscos relacionados com software, hardware e dados de terceiros: Embora os dados ou sistemas de terceiros possam ser úteis para acelerar o desenvolvimento de sistemas de IA, representam incógnitas que podem complicar a medição do risco. Além disso, os utilizadores de sistemas de IA podem não utilizar esses sistemas da forma que os seus criadores e fornecedores pretendiam. Os criadores e fornecedores de sistemas de IA podem ficar surpreendidos quando a utilização dos sistemas de IA num sistema de produção é muito diferente da utilização num ambiente de desenvolvimento controlado.
• Disponibilidade de métricas fiáveis: O cálculo do potencial impacto ou dano da utilização de sistemas de IA é complexo e pode envolver muitos factores.
• Risco em diferentes fases do ciclo de vida da IA: Os actores que utilizam um sistema pronto a utilizar terão de enfrentar riscos diferentes dos de um ator que constrói e treina o seu próprio sistema. O RMF reconhece que as empresas precisam de determinar a sua própria tolerância ao risco, e algumas organizações podem estar dispostas a suportar mais riscos do que outras, dependendo dos contextos legais ou regulamentares. No entanto, o RMF reconhece que a abordagem e a minimização de todos os riscos não são eficientes nem rentáveis e que as empresas devem dar prioridade aos riscos a abordar. À semelhança da forma como as empresas devem abordar os riscos de cibersegurança e de privacidade dos dados, o RMF sugere que a gestão do risco seja integrada nas práticas organizacionais, uma vez que diferentes riscos se apresentarão em diferentes fases das práticas organizacionais.

  O RMF também reconhece que a fiabilidade é uma caraterística fundamental dos sistemas de IA. A fiabilidade está ligada ao comportamento dos intervenientes, aos conjuntos de dados utilizados pelos sistemas de IA, ao comportamento dos utilizadores e dos criadores de sistemas de IA e à forma como os intervenientes supervisionam esses sistemas. O RMF sugere que as seguintes caraterísticas afectam a fiabilidade de um sistema de IA:

• Validação e fiabilidade: Os actores devem ser capazes de confirmar que o sistema de IA cumpriu requisitos específicos e que é capaz de funcionar sem falhas em determinadas condições.
• Segurança: Os sistemas de IA não devem pôr em perigo a vida humana, a saúde, a propriedade ou o ambiente.
• Segurança e resiliência: Os sistemas de IA devem ser capazes de responder e recuperar de eventos adversos e mudanças inesperadas.
• Responsabilidade e transparência: Os actores devem poder aceder a informações sobre os sistemas de IA e os seus resultados.
• Explicabilidade e interpretabilidade: Os sistemas de IA devem ser capazes de fornecer a quantidade adequada de informação aos actores e proporcionar um certo nível de compreensão.
• Aumento da privacidade: Quando adequado, as opções de conceção dos sistemas de IA devem incorporar valores como o anonimato, a confidencialidade e o controlo.
• Gestão da equidade com preconceitos prejudiciais: Os sistemas de IA correm o risco de perpetuar e exacerbar a discriminação já existente. Os actores devem estar preparados para prevenir e mitigar esses preconceitos.

Núcleo e perfis de gestão do risco do RMF da AI

No centro do RMF da IA (RMF Core) estão funções fundamentais concebidas para fornecer um quadro que ajude as empresas a desenvolver sistemas de IA fiáveis. Estas funções são: governar, mapear, medir e gerir, sendo a função "governar" concebida para influenciar cada uma das outras.

Figura 1: Núcleo de Gestão de Riscos (NIST AI 100-1, página 20).

Cada uma destas funções é subdividida em categorias e subcategorias destinadas a alcançar as funções de alto nível. Dado o vasto número de subcategorias e acções sugeridas, o núcleo do RMF não se destina a servir como uma lista de verificação que as empresas utilizam para se limitarem a "marcar a caixa". Em vez disso, o RMF da IA aconselha a que a gestão do risco seja contínua, atempada e efectuada ao longo do ciclo de vida dos sistemas de IA.

O RMF da IA também reconhece que não existe uma abordagem única no que respeita à gestão do risco. Os intervenientes devem construir um perfil específico para o caso de utilização do sistema de IA e selecionar as acções adequadas para executar e alcançar as quatro funções. Embora o RMF da IA descreva o processo, o manual do RMF da IA fornece descrições pormenorizadas e informações úteis sobre a forma de implementar o RMF da IA em algumas situações comuns (geralmente designadas por perfis). Os perfis do RMF serão diferentes consoante o sector, a tecnologia ou a utilização específicos. Por exemplo, um perfil para o contexto laboral seria diferente, e abordaria riscos diferentes, do que um perfil para detetar riscos de crédito e fraude.

O núcleo do RMF é composto pelas seguintes funções:

• Governação. Uma governação forte é importante para o desenvolvimento de práticas e normas internas críticas para a manutenção da gestão do risco organizacional. A função governar descreve categorias para ajudar a implementar as políticas e práticas das três outras funções, criando estruturas de responsabilização, diversidade no local de trabalho e processos de acessibilidade para que os riscos de IA sejam avaliados por uma equipa com pontos de vista diversos, e desenvolvendo equipas organizacionais empenhadas numa cultura de práticas de IA que privilegiem a segurança.
• Mapa. A função de mapa ajuda os actores a contextualizar os riscos quando utilizam sistemas de IA. Ao implementar as acções previstas no mapa, as organizações estarão mais aptas a antecipar, avaliar e abordar potenciais fontes de riscos negativos. Algumas das categorias desta função incluem estabelecer e compreender o contexto dos sistemas de IA, categorizar o sistema de IA, compreender os riscos e benefícios de todos os componentes do sistema de IA e identificar os indivíduos e grupos que podem ser afectados.
• Medida. A função de medição utiliza ferramentas quantitativas e qualitativas para analisar e monitorizar o risco da IA e para os intervenientes avaliarem a utilização dos seus sistemas de IA. As medições devem seguir vários objectivos, como as caraterísticas de fiabilidade, o impacto social e a qualidade das interações homem-IA. As categorias da função de medição incluem a identificação e aplicação de métodos e métricas apropriados, a avaliação dos sistemas quanto às caraterísticas de fiabilidade, a implementação de mecanismos para acompanhar os riscos identificados ao longo do tempo e a recolha de feedback sobre a eficácia da medição.
• Gerir. Depois de determinar os riscos relevantes e a quantidade adequada de tolerância ao risco, a função de gestão ajuda as empresas a dar prioridade ao risco, a afetar recursos de forma adequada para lidar com os riscos mais elevados e a permitir a monitorização regular e a melhoria do sistema de IA. As categorias da função de gestão incluem a priorização dos riscos após a avaliação do mapa e da medida, a definição de estratégias sobre como maximizar os benefícios da IA e minimizar os danos da IA e a gestão do risco de IA de terceiros.

Desta forma, o manual fornece sugestões específicas e acionáveis sobre a forma de realizar as quatro funções.

Impacto nas empresas

O RMF de IA ajuda as empresas a desenvolver um programa de governação robusto e a abordar o risco dos seus sistemas de IA. Embora a utilização do AI RMF não seja atualmente exigida por nenhuma lei proposta (incluindo a Lei da Inteligência Artificial da UE), o AI RMF, tal como outras normas e orientações do NIST, revelar-se-á indubitavelmente útil para ajudar as empresas a cumprir os requisitos de análise de risco dessas leis de uma forma estruturada e repetível. Por conseguinte, as empresas que estão a considerar fornecer ou utilizar sistemas de IA devem também considerar a utilização do RMF da IA para analisar e minimizar os riscos. As empresas podem ser solicitadas a mostrar a documentação de alto nível produzida como parte da sua utilização do RMF da IA aos reguladores e podem também considerar fornecer essa documentação aos seus clientes para reduzir as preocupações e aumentar a confiança.

Os autores agradecem a contribuição de Mathew Cha, estudante da Faculdade de Direito da Universidade da Califórnia em Berkeley e associado de verão de 2023 da Foley & Lardner LLP.