La intersección entre la IA agencial y los marcos jurídicos emergentes
La evolución de la inteligencia artificial (IA) ha dado lugar a sistemas capaces de tomar decisiones autónomas, conocidos como IA agencial. Mientras que la IA generativa básicamente «crea» (proporcionando contenido como texto, imágenes, etc.), la IA agencial «actúa» (realizando tareas como buscar y pedir productos en línea). Estos sistemas están empezando a aparecer en aplicaciones dirigidas al público, como Agentforce de Salesforce y Gemini 2.0 de Google.
A medida que la IA agencial sigue proliferando, los sistemas jurídicos deben adaptarse para abordar los riesgos y aprovechar las ventajas de los sistemas de IA que son capaces de pensar de forma más lógica y actuar, en lugar de limitarse a orientar o crear. Iniciativas como la Ley de Privacidad del Consumidor de California (CCPA) y sus modificaciones propuestas para las tecnologías de toma de decisiones automatizadas (ADMT) ponen de relieve las formas en que los reguladores están trabajando para garantizar la privacidad y la rendición de cuentas en la era impulsada por la IA.
Usos prácticos de la IA agencial
Los sistemas agenticos persiguen objetivos complejos utilizando un razonamiento sofisticado con una supervisión humana limitada. A diferencia de los sistemas tradicionales de IA generativa que responden a indicaciones, la IA agentica puede ejecutar tareas utilizando a terceros como «agentes» del usuario. Por ejemplo, cuando se le pide que reserve un vuelo, una IA agencial accederá a las bases de datos de vuelos, buscará los vuelos disponibles en función de las preferencias y el presupuesto del usuario, evaluará las ventajas e inconvenientes en cuanto a precio y tiempo de viaje y, finalmente, reservará el vuelo interactuando con el sistema de reservas de la aerolínea e introduciendo toda la información necesaria sobre el pasajero.
Otras aplicaciones en diversos sectores incluyen la atención sanitaria, donde puede ayudar en el diagnóstico de enfermedades mediante el análisis de los datos de los pacientes y las imágenes médicas, y las finanzas, al permitir la detección de fraudes y la evaluación del riesgo crediticio mediante análisis de datos avanzados. Las empresas minoristas también pueden utilizar la IA agencial para personalizar las experiencias de compra, recomendando productos basados en el comportamiento de los usuarios.
A nivel de consumidor, los dispositivos portátiles con IA agencial, como Rabbit R1, han introducido a los consumidores en las primeras etapas de la toma de decisiones autónoma. El dispositivo demostró cómo la IA agencial puede navegar por aplicaciones de terceros y realizar tareas como pedir comida o reservar viajes mediante comandos de voz. A pequeña escala, como en este caso, las indicaciones malinterpretadas tienen consecuencias menores para los usuarios, lo que puede dar lugar a un pedido de entrega erróneo o al envío de un conductor de transporte compartido a una ubicación incorrecta. Sin embargo, cuando se aplica a un escenario de uso más complejo, las ramificaciones de una indicación malinterpretada se magnifican.
Comprender la IA agencial y su gobernanza
Aunque es probable que las empresas puedan optimizar los flujos de trabajo y ahorrar recursos, las implicaciones legales y éticas de implementar estos sistemas en funciones de atención al cliente exigen una cuidadosa consideración. Por ejemplo, la integración de la IA agencial en la revisión, modificación y (en un futuro próximo) negociación de contratos legales plantea una serie de implicaciones importantes que exponen a las empresas y a los consumidores a mayores riesgos al automatizar documentos legalmente vinculantes sin supervisión humana y sin un juicio matizado.
ADMT y marcos normativos emergentes
La Agencia de Protección de la Privacidad de California (CPPA) ha propuesto un conjunto de normas nacionales para regular la tecnología de toma de decisiones automatizada (ADMT) con el fin de abordar las crecientes preocupaciones en torno a la IA agencial. Según la definición de la Ley de Privacidad del Consumidor de California (CCPA), la ADMT incluye «cualquier tecnología que procese información personal y utilice un cálculo para ejecutar una decisión, sustituir la toma de decisiones humanas o facilitar sustancialmente la toma de decisiones humanas»[1]. Es importante destacar que la definición de «facilitar sustancialmente la toma de decisiones humanas» especifica que la ADMT incluye los casos en los que su resultado sirve como factor clave en el proceso de toma de decisiones de un ser humano.
Sin embargo, la CCPA excluye de esta definición ciertas tecnologías que no ejecutan decisiones de forma independiente ni influyen significativamente en la toma de decisiones humanas. Algunos ejemplos son herramientas básicas como los correctores ortográficos o las calculadoras, que organizan o calculan datos sin tomar decisiones autónomas.[2] Estas distinciones establecen el enfoque normativo en los sistemas de IA agenciales (denominados ADMT) capaces de tomar decisiones de forma independiente o de influir considerablemente en la toma de decisiones.
Auditorías de ciberseguridad
La norma propuesta exige auditorías periódicas de ciberseguridad a las empresas que procesan información personal que presenta riesgos significativos para la seguridad de los consumidores. Los «riesgos significativos» se aplican a las empresas que cumplen determinados umbrales, es decir, aquellas que obtienen más del 50 % de sus ingresos anuales de la venta de información de los consumidores o del tratamiento de información sensible de los consumidores o los hogares. Estas empresas están obligadas a realizar auditorías anuales sin interrupciones, a cargo de un profesional cualificado, objetivo e independiente, que abarquen todos los aspectos del programa de ciberseguridad de la empresa con el fin de identificar deficiencias, documentar los resultados y esbozar planes para subsanar cualquier punto débil.[3]
En los casos de uso de IA y ADMT, el artículo 9 de la norma propuesta obliga a las empresas que utilizan tecnologías ADMT a adoptar un enfoque proactivo en materia de seguridad y gestión de riesgos. Por ejemplo, los bancos que utilizan tecnologías ADMT en la automatización de la concesión de préstamos procesan información confidencial de los consumidores. Una violación de la seguridad podría exponer los historiales crediticios o los números de la Seguridad Social de los consumidores, lo que daría lugar a robos de identidad o fraudes financieros. La propuesta de la norma de realizar auditorías de ciberseguridad rigurosas permitiría identificar vulnerabilidades en el almacenamiento y el tratamiento de los datos, mitigando el acceso no autorizado y las violaciones de datos.
Evaluaciones de riesgos
Basándose en los requisitos de ciberseguridad de la norma propuesta, el artículo 10 centra la atención en la gestión de los riesgos para la privacidad de los consumidores por parte de las empresas que utilizan sistemas de ADMT e IA. Estas evaluaciones son necesarias para tareas de alto riesgo que requieren un perfilado exhaustivo, como las decisiones sobre solvencia crediticia, elegibilidad para la asistencia sanitaria, admisión en programas académicos y contratación.[4] Las empresas deben contratar a miembros encargados del cumplimiento para que realicen evaluaciones de riesgos con el fin de determinar «si los riesgos para la privacidad de los consumidores derivados del tratamiento de la información personal superan los beneficios para el consumidor, la empresa, otras partes interesadas y el público».[5]
Esta prueba de equilibrio tiene un impacto especial en los casos de uso de la IA y la ADMT en áreas como la contratación o la elaboración de perfiles de clientes, en las que se debe sopesar el potencial de sesgo o daño frente a la eficiencia operativa. Por ejemplo, las empresas que utilizan la ADMT para realizar evaluaciones emocionales con el fin de determinar a quién contratar deben llevar a cabo una evaluación de riesgos, ya que utilizan la ADMT «para una decisión importante que afecta a un consumidor»[6]. Una herramienta de contratación basada en ADMT que afecte de manera desproporcionada a determinados grupos demográficos tendría que demostrar que sus beneficios superan estos riesgos o se enfrentaría a una suspensión en virtud del artículo 10.
Las evaluaciones de riesgos deben actualizarse cada tres años o cada vez que se produzcan cambios significativos en la tecnología o en las actividades de procesamiento de datos.[7] Esto garantiza que los modelos de IA sigan cumpliendo con la normativa a medida que evolucionan. Estas disposiciones exigen equilibrar la protección de la privacidad y la innovación para garantizar que los sistemas ADMT se implementen de forma responsable y ética.
Transparencia y responsabilidad
El artículo 11 refuerza el enfoque en la ciberseguridad del artículo 9 y el marco de gestión de riesgos con visión de futuro del artículo 10, y establece normas para que las empresas que utilizan ADMT garanticen la transparencia, la equidad y el control por parte de los consumidores.
El artículo 11 exige a las empresas que proporcionen a los consumidores un aviso previo al uso en el que se detalle la finalidad del uso de la ADMT, sus posibles resultados y los derechos de los consumidores a excluirse o acceder a la lógica y los resultados del sistema.[8] El objetivo es garantizar la transparencia en el tratamiento y el uso de los datos personales por parte de las empresas, lo que permite a los consumidores conservar sus derechos sobre sus datos.
Además de la transparencia, el artículo 11 impone a las empresas la obligación de evaluar el rendimiento de los sistemas ADMT, garantizando que funcionen según lo previsto y no den lugar a discriminaciones ilegales.[9] Esto incluye someter los sistemas a pruebas para detectar sesgos y verificar la calidad de sus resultados. Al establecer estos requisitos, el artículo 11 pretende reforzar la responsabilidad en el despliegue de los ADMT, al tiempo que se protegen los derechos de los consumidores.[10]
Riesgos asociados con la IA agencial
El uso de la IA agencial plantea varios riesgos, como el sesgo en la toma de decisiones, que puede dar lugar a resultados injustos, especialmente en situaciones de contratación o concesión de préstamos. Además, la dependencia excesiva de los sistemas autónomos puede provocar interrupciones operativas si los sistemas fallan o producen resultados erróneos. La seguridad de los datos sigue siendo una preocupación fundamental, con la posible exposición de información confidencial a violaciones o usos indebidos.
Estrategias de mitigación y gestión
Para hacer frente a estos riesgos, las empresas deben implementar rigurosos procesos de prueba y validación para detectar y corregir sesgos. El empleo de medidas sólidas de ciberseguridad, como el cifrado y las auditorías periódicas, puede mitigar las amenazas a la seguridad de los datos. Deben integrarse mecanismos de supervisión humana para validar las decisiones críticas tomadas por la IA agencial, garantizando la responsabilidad y la fiabilidad. Además, las empresas deben invertir en la formación y el capacitación continuas del personal para que comprenda y gestione eficazmente los sistemas de IA.
Las regulaciones propuestas por la CCPA proporcionan un marco normativo para regular la adopción e integración de la IA agencial y la ADMT. El informe técnico de OpenAI de diciembre de 2023 destaca que, con una gobernanza adecuada, la IA agencial puede mejorar la productividad al tiempo que mantiene la seguridad y la fiabilidad.
Un proceso optimizado que utiliza herramientas de agencia para reducir el tiempo dedicado al desarrollo de la participación de los consumidores y las tareas legales rutinarias promete importantes ganancias de eficiencia para las empresas. Los requisitos de ciberseguridad reducen el riesgo de daños a los consumidores al proteger los datos personales contra violaciones y mejorar la fiabilidad de los procesos impulsados por la inteligencia artificial, especialmente en asuntos legales que implican información confidencial de los clientes. El énfasis del artículo 10 en las evaluaciones de riesgos se basa en este fundamento, exigiendo a las empresas que sopesen los riesgos frente a las recompensas.
La normativa garantiza que las innovaciones en IA agencial sigan siendo equitativas y se ajusten a las normas éticas. Además, las disposiciones en materia de transparencia tienen por objeto aumentar la supervisión de los sistemas de IA agencial para garantizar que no solo sean eficaces, sino también comprensibles para los usuarios finales. A medida que los sistemas de IA agencial se desarrollen para escenarios de toma de decisiones más complejos, la transparencia proporcionará a los reguladores y a las partes privadas un nivel de control sobre los sistemas.
Sin embargo, el potencial transformador conlleva nuevos riesgos que las regulaciones propuestas por la CCPA podrían no cubrir. Como suele ocurrir con las nuevas tecnologías, la ley va por detrás de la innovación. Cuando las empresas se apresuran a adoptar la IA agencial, la falta de supervisión crea riesgos en cuanto a la disminución de la fiabilidad de los resultados, el aumento de la vulnerabilidad ante resultados de decisiones complejas y los desplazamientos laborales. Las amenazas a la ciberseguridad siguen siendo una preocupación acuciante, y los costes de cumplimiento y las complejidades operativas pueden obstaculizar su adopción generalizada y dar lugar a lagunas legales. La prueba de equilibrio prevista en el artículo 7154(a), que sopesa los riesgos para la privacidad frente a los beneficios operativos, puede ser subjetiva, lo que deja margen para disputas legales. Del mismo modo, los requisitos de transparencia del artículo 11 obligan a las empresas a revelar la lógica que subyace a las decisiones automatizadas, lo que puede dar lugar a conflictos entre los derechos de los consumidores y la protección de la propiedad intelectual.
Conclusión
La IA agencial ofrece un potencial transformador, pero plantea importantes retos legales y éticos. Las regulaciones propuestas por la CCPA proporcionan una base para abordar estas cuestiones, haciendo hincapié en la ciberseguridad, la evaluación de riesgos y la transparencia. A medida que los marcos legales evolucionan para adaptarse a la innovación, será fundamental encontrar un equilibrio entre la responsabilidad y el progreso para garantizar que la IA agencial se implemente de forma responsable y equitativa.
La implementación de marcos de gobernanza sólidos es esencial para navegar por las complejidades de la IA agencial. Dichos marcos guían el desarrollo y la implementación de modelos de IA, promoviendo el uso de datos sólidos, imparciales y de alta calidad para obtener resultados. También reducen los riesgos de cumplimiento al establecer directrices y normas claras que alinean los sistemas de IA con los requisitos legales y reglamentarios, garantizando que las soluciones de IA funcionen de forma ética y legal. Además, la integración de la IA agencial en diversos sectores requiere un cambio de paradigma hacia un diseño inclusivo y una innovación democrática. Esto implica ir más allá de la simple «incorporación» de los grupos marginados a los debates sobre la IA y garantizar que las perspectivas diversas formen parte integrante del desarrollo de la IA. Al involucrar a las partes interesadas de diversas disciplinas, podemos desarrollar nuevas teorías, marcos de evaluación y métodos para navegar por la compleja naturaleza de la ética de la IA, orientando el desarrollo de la IA en una dirección que sea beneficiosa y sostenible.
[1] Véase el artículo 7001 (f).
[2] Véase § 7001. Definiciones (f)(4).
[3] Véanse los artículos 7120, 7121, 7122 y 7123.
[4] Véase el artículo 7150(a)(3)(A).
[5] Véase el artículo 7152(a).
[6] Véase el artículo 7150(c)(1).
[7] Véase el artículo 7155(a)(2).
[8] Véase § 7220(a)/(c); § 7222.
[9] Véase el artículo 7201(a)(1).
[10] Véase el artículo 7201(a)(2).
