A interseção entre IA agênica e estruturas jurídicas emergentes
A evolução da inteligência artificial (IA) introduziu sistemas capazes de tomar decisões autónomas, conhecidos como IA agênica. Enquanto a IA generativa essencialmente «cria» – fornecendo conteúdo como texto, imagens, etc. –, a IA agênica «faz» – realizando tarefas como pesquisar e encomendar produtos online. Esses sistemas estão a começar a surgir em aplicações voltadas para o público, incluindo o Agentforce da Salesforce e o Gemini 2.0 do Google.
À medida que a IA agênica continua a proliferar, os sistemas jurídicos devem adaptar-se para lidar com os riscos e aproveitar os benefícios dos sistemas de IA que são capazes de pensar de forma mais lógica e agir, em vez de apenas orientar ou criar. Iniciativas como a Lei de Privacidade do Consumidor da Califórnia (CCPA) e as suas modificações propostas para tecnologias de tomada de decisão automatizada (ADMT) destacam as formas como os reguladores estão a trabalhar para garantir a privacidade e a responsabilidade na era impulsionada pela IA.
Usos práticos da IA agênica
Os sistemas agênicos perseguem objetivos complexos usando raciocínio sofisticado com supervisão humana limitada. Ao contrário dos sistemas tradicionais de IA generativa que respondem a comandos, a IA agênica pode executar tarefas usando terceiros como «agentes» do utilizador. Por exemplo, quando solicitada a reservar um voo, uma IA agênica acederá a bases de dados de voos, pesquisará voos disponíveis com base nas preferências e no orçamento do utilizador, avaliará as vantagens e desvantagens em termos de preço e tempo de viagem e, finalmente, reservará o voo interagindo com o sistema de reservas da companhia aérea, introduzindo todas as informações necessárias para o passageiro.
Outras aplicações em vários setores incluem cuidados de saúde, onde pode auxiliar no diagnóstico de doenças através da análise de dados de pacientes e imagens médicas, e finanças, permitindo a deteção de fraudes e a avaliação de riscos de crédito por meio de análises avançadas de dados. As empresas de retalho também podem utilizar IA agênica para personalizar experiências de compra, recomendando produtos com base no comportamento do utilizador.
No nível do consumidor, dispositivos portáteis com IA agênica, como o Rabbit R1, introduziram os consumidores aos estágios iniciais da tomada de decisão autónoma. O dispositivo demonstrou como a IA agênica pode navegar em aplicativos de terceiros e realizar tarefas como pedir comida ou reservar viagens por meio de comandos de voz. Em pequena escala como esta, comandos mal interpretados têm consequências menores para os utilizadores, talvez levando a um pedido de entrega errado ou enviando um motorista de transporte partilhado para o local errado. No entanto, quando aplicado a um cenário de uso mais complexo, as ramificações de um comando mal interpretado são ampliadas.
Compreender a IA Agente e a sua Governança
Embora as empresas provavelmente consigam otimizar os fluxos de trabalho e economizar recursos, as implicações legais e éticas da implementação desses sistemas em funções voltadas para o consumidor exigem uma análise cuidadosa. Por exemplo, a integração da IA agênica na revisão, modificação e (em breve) negociação de contratos legais levanta uma série de implicações importantes que expõem as empresas e os consumidores a riscos maiores de automatizar documentos juridicamente vinculativos sem supervisão humana e julgamento diferenciado.
ADMT e quadros regulamentares emergentes
A Agência de Proteção à Privacidade da Califórnia (CPPA) propôs um conjunto de normas nacionais para regulamentar a Tecnologia de Tomada de Decisão Automatizada (ADMT) para abordar as crescentes preocupações com a IA agênica. Definida pela Lei de Privacidade do Consumidor da Califórnia (CCPA), a ADMT inclui “qualquer tecnologia que processe informações pessoais e use um cálculo para executar uma decisão, substituir a tomada de decisão humana ou facilitar substancialmente a tomada de decisão humana”.[1] É importante ressaltar que a definição de “facilitar substancialmente a tomada de decisão humana” especifica que a ADMT inclui casos em que seu resultado serve como um fator-chave no processo de tomada de decisão humana.
No entanto, a CCPA exclui desta definição certas tecnologias que não executam decisões de forma independente nem influenciam significativamente a tomada de decisões humanas. Exemplos incluem ferramentas básicas como corretores ortográficos ou calculadoras, que organizam ou calculam dados sem tomar decisões autónomas.[2] Estas distinções estabelecem o foco regulatório em sistemas de IA agênicos (denominados ADMT) capazes de tomar decisões de forma independente ou de influenciar significativamente a tomada de decisões.
Auditorias de cibersegurança
A regra proposta exige auditorias regulares de segurança cibernética para empresas que processam informações pessoais que apresentam riscos significativos à segurança dos consumidores. Os «riscos significativos» aplicam-se a empresas que atendem a limites específicos, ou seja, que obtêm mais de 50% de suas receitas anuais com a venda de informações de consumidores ou com o processamento de informações confidenciais de consumidores ou famílias. Essas empresas são obrigadas a realizar auditorias anuais, sem interrupções, por um profissional qualificado, objetivo e independente, cobrindo todos os aspetos do programa de segurança cibernética da empresa, a fim de identificar lacunas, documentar conclusões e traçar planos para corrigir quaisquer pontos fracos.[3]
Para casos de uso de IA e ADMT, o Artigo 9 da regra proposta obriga as empresas que utilizam tecnologias ADMT a adotar uma abordagem proativa à segurança e gestão de riscos. Por exemplo, bancos que utilizam tecnologias ADMT no processo de automatização de originação de empréstimos processam informações confidenciais dos consumidores. Uma violação poderia expor o histórico de crédito ou os números de segurança social dos consumidores, levando ao roubo de identidade ou fraude financeira. A proposta da regra para auditorias robustas de cibersegurança identificaria vulnerabilidades na forma como os dados são armazenados e processados, mitigando o acesso não autorizado e as violações de dados.
Avaliações de risco
Com base nos requisitos de cibersegurança da regra proposta, o Artigo 10 muda o foco para a gestão dos riscos à privacidade do consumidor para empresas que utilizam sistemas ADMT e IA. Essas avaliações são necessárias para tarefas de alto risco que exigem perfis extensos, como decisões sobre credibilidade, elegibilidade para cuidados de saúde, admissão em programas académicos e contratação.[4] As empresas devem empregar membros de conformidade para realizar avaliações de risco a fim de determinar «se os riscos à privacidade dos consumidores decorrentes do processamento de informações pessoais superam os benefícios para o consumidor, a empresa, outras partes interessadas e o público».[5]
Este teste de equilíbrio é especialmente impactante para casos de uso de IA e ADMT em áreas como contratação ou criação de perfis de clientes, onde o potencial de preconceito ou dano deve ser ponderado em relação à eficiência operacional. Por exemplo, as empresas que utilizam ADMT para realizar avaliações emocionais para determinar quem contratar devem realizar uma avaliação de risco, pois utilizam ADMT «para uma decisão significativa relativa a um consumidor».[6] Uma ferramenta de contratação baseada em ADMT que afete desproporcionalmente certos grupos demográficos precisaria demonstrar que seus benefícios superam esses riscos ou enfrentaria suspensão nos termos do Artigo 10.
As avaliações de risco devem ser atualizadas a cada três anos ou sempre que ocorrerem mudanças significativas na tecnologia ou nas atividades de processamento de dados.[7] Isso garante que os modelos de IA permaneçam em conformidade à medida que evoluem. Essas disposições exigem o equilíbrio entre a proteção da privacidade e a inovação para garantir que os sistemas ADMT sejam implantados de forma responsável e ética.
Transparência e responsabilidade
Reforçando o foco na cibersegurança do Artigo 9.º e a estrutura de gestão de riscos prospectiva do Artigo 10.º, o Artigo 11.º estabelece regras para as empresas que utilizam ADMT, a fim de exigir transparência, equidade e controlo por parte do consumidor.
O artigo 11.º exige que as empresas forneçam aos consumidores um aviso prévio detalhando a finalidade da utilização da ADMT, os seus resultados potenciais e os direitos dos consumidores em optar por não participar ou aceder à lógica e aos resultados do sistema.[8] O objetivo é proporcionar transparência na forma como os dados pessoais são processados e utilizados pelas empresas, permitindo que os consumidores mantenham os direitos sobre os seus dados.
Além da transparência, o Artigo 11 impõe requisitos às empresas para avaliar o desempenho dos sistemas ADMT, garantindo que funcionem conforme o previsto e não resultem em discriminação ilegal.[9] Isso inclui testar os sistemas quanto a preconceitos e verificar a qualidade dos seus resultados. Ao estabelecer esses requisitos, o Artigo 11 visa reforçar a responsabilidade na implantação do ADMT, ao mesmo tempo em que protege os direitos do consumidor.[10]
Riscos associados à IA agênica
O uso da IA agênica apresenta vários riscos, como preconceitos na tomada de decisões, que podem levar a resultados injustos, especialmente em cenários de contratação ou empréstimo. Além disso, a dependência excessiva de sistemas autónomos pode resultar em interrupções operacionais se os sistemas falharem ou produzirem resultados errados. A segurança dos dados continua a ser uma preocupação crítica, com a potencial exposição de informações confidenciais a violações ou uso indevido.
Estratégias de mitigação e gestão
Para lidar com esses riscos, as empresas devem implementar processos rigorosos de teste e validação para detectar e corrigir vieses. O emprego de medidas robustas de segurança cibernética, como criptografia e auditorias regulares, pode mitigar as ameaças à segurança dos dados. Mecanismos de supervisão humana devem ser integrados para validar decisões críticas tomadas pela IA agênica, garantindo responsabilidade e confiabilidade. Além disso, as empresas devem investir em educação e formação contínuas para que os funcionários compreendam e gerenciem os sistemas de IA de forma eficaz.
As regulamentações propostas pela CCPA fornecem uma estrutura regulatória para governar a adoção e integração da IA agênica e ADMT. O white paper da OpenAI de dezembro de 2023 destaca que, com uma governança adequada, a IA agênica pode aumentar a produtividade, mantendo a segurança e a confiabilidade.
Um processo simplificado que utiliza ferramentas de agência para reduzir o tempo gasto no desenvolvimento do envolvimento do consumidor e em tarefas jurídicas rotineiras promete ganhos significativos de eficiência para as empresas. Os requisitos de cibersegurança reduzem o risco de danos ao consumidor, protegendo os dados pessoais contra violações e aumentando a confiabilidade dos processos orientados por IA, especialmente em questões jurídicas que envolvem informações confidenciais de clientes. A ênfase do artigo 10.º nas avaliações de risco baseia-se neste fundamento, exigindo que as empresas ponderem os riscos em relação às recompensas.
A regulamentação garante que as inovações em IA agênica permaneçam equitativas e alinhadas com os padrões éticos. Além disso, as disposições de transparência visam uma maior supervisão dos sistemas de IA agênica para garantir que eles não sejam apenas eficazes, mas também compreensíveis para os utilizadores finais. À medida que os sistemas de IA agênica se desenvolvem para cenários de tomada de decisão mais complexos, a transparência proporcionará aos reguladores e às entidades privadas um nível de controlo sobre os sistemas.
No entanto, com o potencial transformador vêm novos riscos que as regulamentações propostas pela CCPA podem não cobrir. Como é comum nas novas tecnologias, a lei fica atrás da inovação. Quando as empresas se apressam em adotar a IA agênica, a falta de supervisão cria riscos na diminuição da confiabilidade da produção, aumento das vulnerabilidades a resultados de decisões complexas e deslocamentos de mão de obra. As ameaças à cibersegurança continuam a ser uma preocupação premente, e os custos de conformidade e as complexidades operacionais podem impedir a adoção generalizada e dar origem a lacunas legais. O teste de equilíbrio previsto no § 7154(a) — que pondera os riscos de privacidade em relação aos benefícios operacionais — pode ser subjetivo, deixando margem para disputas legais. Da mesma forma, as exigências de transparência do artigo 11 obrigam as empresas a divulgar a lógica por trás das decisões automatizadas, o que pode introduzir conflitos entre os direitos dos consumidores e a proteção da propriedade intelectual.
Conclusão
A IA agênica oferece um potencial transformador, mas apresenta desafios legais e éticos significativos. As regulamentações propostas pela CCPA fornecem uma base para abordar essas questões, enfatizando a cibersegurança, a avaliação de riscos e a transparência. À medida que as estruturas legais evoluem para acompanhar a inovação, equilibrar a responsabilidade com o progresso será fundamental para garantir que a IA agênica seja implantada de forma responsável e equitativa.
A implementação de estruturas de governança robustas é essencial para navegar pelas complexidades da IA agênica. Essas estruturas orientam o desenvolvimento e a implantação de modelos de IA, promovendo o uso de dados robustos, imparciais e de alta qualidade para obter resultados. Elas também reduzem os riscos de conformidade, estabelecendo diretrizes e padrões claros que alinham os sistemas de IA com os requisitos legais e regulatórios, garantindo que as soluções de IA operem de forma ética e legal. Além disso, a integração da IA agênica em vários setores requer uma mudança de paradigma em direção a um design inclusivo e à inovação democrática. Isso envolve ir além de simplesmente “adicionar” grupos marginalizados às discussões sobre IA e garantir que perspectivas diversas sejam parte integrante do desenvolvimento da IA. Ao envolver partes interessadas de várias disciplinas, podemos desenvolver novas teorias, estruturas de avaliação e métodos para lidar com a natureza complexa da ética da IA, direcionando o desenvolvimento da IA para uma direção que seja benéfica e sustentável.
[1] Ver § 7001 (f).
[2] Ver § 7001. Definições (f)(4).
[3] Ver § 7120; § 7121; § 7122; § 7123.
[4] Ver § 7150(a)(3)(A).
[5] Ver § 7152(a).
[6] Ver § 7150(c)(1).
[7] Ver § 7155(a)(2).
[8] Ver § 7220(a)/(c); § 7222.
[9] Ver § 7201(a)(1).
[10] Ver § 7201(a)(2).
