行业
企业
知识产权
诉讼
本文作者创建了一个包含长篇开放式问题和多项选择题的基准测试，用于评估多种大型语言模型在法律推理方面的表现。法律推理需要将演绎和归纳逻辑应用于复杂情境，其中常存在未定义的参数。研究结果表明，这些模型在处理"需要结构化、多步骤法律推理的开放式问题时仍显吃力"。
法律推理是大型语言模型（LLMs）乃至整个人工智能（AI）领域的重要前沿，需要专业领域知识和高级推理能力，例如判例解释、法规分析和法律推论。尽管通用推理取得进展，法律推理在自然语言处理研究中仍面临挑战且评估不足。此外，法律领域具有高风险特性，若未能全面检验模型的能力和局限性，可能导致严重的现实后果……
查看引用文章
我们的分析揭示了大型语言模型在处理选择题（尤其是复杂开放性问题）时存在显著能力差异与局限性：值得注意的是，增加选择题选项数量会持续降低模型准确率。本评估框架提供了一种超越简单准确率指标的可扩展方法，用于衡量法律推理质量，从而为未来研究提供依据，旨在提升大型语言模型在复杂法律任务中的可靠性与稳健性。
