斯坦福研究发现：法律场景中使用大型语言模型存在高比例错误

斯坦福大学的研究发现，当大型语言模型（LLMs）处理特定法律查询时，其产生与实际事实或确立法律原则及判例相悖内容的现象——即所谓"幻觉"——发生率高达69%至88%。 

该研究对GPT 3.5、Llama 2和PaLM 2三款模型分别进行了20万次查询测试。尽管这些生成式人工智能程序据称已通过律师资格考试，但在执行初级律师完成的某些基础任务时却表现失利。例如，在评估两起不同案件先例关联性的任务中，多数大型语言模型（LLM）的表现甚至不如随机猜测。 在回答关于法院核心裁决（或判决要旨）的查询时，模型被发现至少75%的情况下会产生幻觉。

使用大型语言模型进行法律研究的风险在以下方面尤为突出：

• 在基层法院或非主要司法管辖区诉讼的当事人
• 寻求详细或复杂法律信息的个人
• 用户基于错误前提提出问题 
• 对大型语言模型（LLM）响应可靠性存疑者

这项研究的结果尤其令人担忧，因为数十家法律科技初创企业和律师事务所声称正在利用人工智能提供更优质、更高效的法律服务。然而，鉴于这些测试中表现如此糟糕，任何使用人工智能或大型语言模型的人都应保持高度警惕。法律似乎需要比当前人工智能所能提供的更高的智慧。

针对尖端语言模型的特定法律查询，其产生幻觉的比率介于69%至88%之间。此外，这些模型往往缺乏对自身错误的自我认知，且倾向于强化错误的法律假设与认知。这些发现引发了对大型语言模型在法律场景中可靠性的重大担忧，凸显了将这些人工智能技术审慎、受监督地融入法律实践的重要性。

查看参考文章