Raciocínio jurídico ainda é uma dificuldade para os LLMs

Os autores deste artigo criaram um benchmark incluindo perguntas abertas e de múltipla escolha para avaliar o desempenho de vários LLMs diferentes no que diz respeito ao raciocínio jurídico. O raciocínio jurídico requer a aplicação de lógica dedutiva e indutiva a cenários complexos, muitas vezes com parâmetros indefinidos. Os resultados mostram que esses modelos ainda “têm dificuldade com perguntas abertas que exigem raciocínio jurídico estruturado e em várias etapas”.

O raciocínio jurídico é uma fronteira crítica para modelos de linguagem de grande porte (LLMs) especificamente e para a inteligência artificial (IA) em geral, exigindo conhecimento especializado na área e habilidades avançadas de raciocínio, como interpretação de precedentes, análise estatutária e inferência jurídica. Apesar do progresso no raciocínio geral, o raciocínio jurídico continua difícil e subestimado na pesquisa de NLP. Além disso, a área jurídica é inerentemente de alto risco e a falha em examinar minuciosamente as capacidades e limitações dos modelos pode levar a sérias consequências no mundo real...

A nossa análise revela uma variabilidade e limitações substanciais nas capacidades dos LLM para lidar com MCQs e, especialmente, com questões abertas complexas; notavelmente, o aumento do número de opções de MCQ reduz consistentemente a precisão do modelo. A nossa estrutura de avaliação oferece uma abordagem escalável para avaliar a qualidade do raciocínio jurídico para além de métricas de precisão simples, facilitando assim uma investigação futura
destinada a melhorar a fiabilidade e robustez dos LLMs em tarefas jurídicas desafiantes.

Ver artigo referenciado