Rompiendo barreras lingüísticas con IA generativa: cómo Foley & Lardner llevó a cabo la revisión multilingüe de documentos con Relativity aiR for Review
Foley & Lardner LLP (Foley) y Relativity comenzaron a experimentar con productos GPT en 2023, que evolucionaron hasta convertirse en la suite "aiR" de herramientas basadas en GPT actualmente disponibles. La participación de Foley y el éxito de los primeros experimentos animaron a los equipos jurídicos de Foley a impulsar nuevos usos de aiR para ver su rendimiento.
Uno de esos experimentos fue una investigación interna multilingüe (español e inglés). Tradicionalmente, cuando se trata de una revisión en un idioma extranjero, se invierte tiempo y dinero adicionales en revisores fluidos y traducciones. Solo uno de los estrategas del equipo que impulsaba el alcance de la investigación hablaba español con fluidez. Era la situación ideal para poner a prueba la capacidad de aiR no solo para traducir, sino también para analizar y comprender el idioma lo suficientemente bien como para generar apoyo y citas para sus recomendaciones.
El estratega del caso en lengua inglesa redactó una indicación en inglés en aiR for Review para identificar cinco cuestiones fundamentales. Los resultados fueron extraordinarios, ya que aiR fue capaz de identificar las cuestiones, comprender el español y proporcionar resultados en inglés. Se realizaron pruebas de validación sobre la precisión de la detección de cuestiones tanto a nivel de registro como de cuestión. Las citas también fueron validadas por los abogados multilingües de Foley para garantizar que respaldaban el análisis. No se puede subestimar el ahorro de tiempo y dinero que esto supuso en comparación con la generación de análisis y traducciones de cuestiones a nivel de registro antes de aiR.
Se eliminó la necesidad de traducir documentos y el tiempo y los gastos relacionados con la traducción. Esto permitió a todos los estrategas de casos ver los resultados en inglés de un día para otro y pasar rápidamente a asesorar al cliente.
La importancia de la iteración rápida
Establecer criterios de solicitud adecuados, los datos que proporcionan a aiR for Review el contexto que necesita para evaluar los datos, es esencial para obtener resultados precisos y satisfactorios. Los criterios de solicitud utilizados para este análisis se desarrollaron mediante un enfoque iterativo. Este enfoque iterativo permitió al equipo de revisión examinar los resultados iniciales de las solicitudes y ajustar los criterios de solicitud para clasificar correctamente los documentos basándose en la comprensión inicial del asunto o revisar la solicitud para tener en cuenta la nueva información descubierta durante la revisión de los documentos.
En primer lugar, los criterios iniciales de la prueba se basaban en las instrucciones que los estrategas del caso habían proporcionado a los revisores bilingües. Hasta ese momento se había realizado una revisión de algunos términos de búsqueda en español, y se utilizaron algunos de esos materiales para la prueba inicial. ¿Podría aiR encontrar lo que los revisores de Foley ya sabían?
Estos criterios iniciales se probaron en 50 documentos «calientes» previamente identificados con etiquetas de temas relevantes para determinar si aiR for Review podía identificar los mismos temas en el conjunto de la muestra y proporcionar citas en español de forma adecuada. Los resultados se sometieron a control de calidad y los revisores proporcionaron comentarios sobre los documentos que aiR identificó como «limítrofes». Basándose en los comentarios del control de calidad, se revisó la indicación con instrucciones adicionales sobre cómo se debían clasificar estos documentos limítrofes. Una revisión aún más profunda de la indicación tras una revisión humana adicional de los documentos relevantes dio como resultado una mejora de las recomendaciones, que pasaron de limítrofes a relevantes, cuando se probó con una muestra aleatoria de 100 documentos nuevos sin revisar.
El flujo de trabajo establecido por Foley consistía en someter a revisión humana cualquier documento dudoso.
Este proceso demuestra la importancia de un enfoque iterativo para desarrollar criterios de indicaciones. Al probar una versión inicial de la indicación en una pequeña muestra, el equipo de Foley pudo evaluar las interpretaciones de aiR y comprender los datos necesarios que conducirían a predicciones más precisas. Mientras revisaban la muestra, los revisores pudieron mejorar aún más la información proporcionada en la indicación. Estos ajustes a la indicación inicial mejoraron los resultados y establecieron la confianza necesaria para aprovechar la tecnología en un conjunto de datos más amplio.
Poner aiR en acción
Una vez finalizados los criterios de selección, se ejecutó aiR for Review en un conjunto de material sin revisar que coincidía con los términos de búsqueda priorizados. Se analizaron 2292 registros, de los cuales 589 se consideraron relevantes para los temas o dudosos. Otros 385 documentos recibidos no eran adecuados para su análisis por aiR for Review debido a limitaciones de formato. Para evaluar los resultados, revisores humanos realizaron un control de calidad de los registros relevantes, dudosos y no analizados (974 documentos en total).
Los resultados fueron impresionantes: el 6 % (55) de los documentos recibieron comentarios de los revisores, la gran mayoría de los cuales fueron aquellos que aiR identificó como «limítrofes». Solo dos documentos se evaluaron incorrectamente; en esos casos, aiR fue demasiado inclusivo, interpretando un documento como relevante cuando no lo era.
En general, menos del 1 % de las recomendaciones de aiR fueron rechazadas por los revisores humanos en el proceso de control de calidad. Basándose en estos excelentes resultados, no se realizaron ajustes adicionales a los criterios de solicitud y se utilizó aiR en conjuntos de documentos adicionales y más amplios.
Since the subjective review of aiR for Review’s performance was positive, Foley enlisted the help of Relativity’s data scientist to confirm the subjective results objectively. Foley’s bilingual subject-matter expert (SME) for the project reviewed aiR for Review’s results from samples sets of documents designed by Relativity’s Data Scientists. The SME was instructed to assess both (1) aiR for Review’s issue detection and (2) citation support for its conclusions. At the conclusion of the SME review, issue and citation validation both yielded a <1% error rate.
La investigación sigue en curso en el momento de la publicación de este artículo y, basándose en estos resultados, el equipo de Foley ha seguido utilizando aiR for Review para acelerar la revisión de los documentos pertinentes.
Rompiendo las barreras lingüísticas con la IA generativa
aiR for Review demostró una notable capacidad para analizar material en español e identificar citas en español, al tiempo que proporcionaba un razonamiento sólido en torno a sus decisiones en inglés, de forma rápida y precisa. Cuando un socio multilingüe revisó la precisión de los fundamentos y las citas, se determinó que más del 99 % de los fundamentos se habían interpretado correctamente y que el 89 % de las citas respaldaban correctamente el análisis.
Esta capacidad ofrece una gran oportunidad para mejorar la eficiencia en casos multilingües. Además de un análisis más rápido y preciso, aiR for Review puede ayudar a los revisores a resumir y elaborar informes fácilmente sobre documentos cuyo idioma original no comprenden abogados experimentados, expertos en la materia y partes interesadas clave. En casos más complejos, en los que se necesitan expertos en la materia, las empresas pueden contratar a personas en función de su experiencia sin preocuparse por las barreras lingüísticas y, a continuación, utilizar el razonamiento y la lógica de aiR for Review para ayudar a esos expertos a comprender la naturaleza del asunto, incluso si no están familiarizados con el idioma de los documentos originales.
Aunque apenas estamos empezando a explorar la capacidad de la IA generativa para trabajar en diferentes idiomas, los resultados iniciales son muy prometedores en lo que respecta al uso de la IA generativa para ahorrar tiempo y costes en la revisión de documentos multilingües.
Si tiene alguna pregunta sobre aiR for Review o el uso de la inteligencia artificial por parte de Foley, póngase en contacto con los autores o con su abogado de Foley & Lardner.
