スタンフォード大学の研究者、主要なAI法律調査ツールの信頼性を分析

本稿では、検索強化生成（RAG）の概念と、言語モデルにおける法的幻覚（legal hallucinations）への対処可能性について論じる。RAGは、検索と生成のステップを組み合わせ、検索された文書からの情報を取り込むことで、より正確で詳細な応答を生成する技術である。検索ステップではユーザークエリに基づいて関連文書を選択し、生成ステップではこれらの文書とクエリを用いて応答を生成する。

本稿は、RAGが法領域において抱える限界を浮き彫りにしている。法分野における情報検索は、明確な答えが存在せず、時代や場所を跨いだ複数の情報源を考慮する必要があるため困難を伴う。文書の関連性は単なるテキストの類似性に基づくものではない。異なる管轄区域や時代では適用される規則が異なる可能性があるためである。意味のある法的文書の生成もまた複雑であり、法的文脈を考慮しつつ、様々な情報源から事実と規則を統合する必要がある。

RAGシステムの品質を評価するため、本論文では「正確性」と「根拠性」の概念を導入する。正確性とは応答の事実的正確性と関連性を指し、根拠性とは応答と引用された情報源との関係性を評価するものである。応答は正確であっても、無関係な情報源からの支持を誤って主張する場合、不適切に根拠付けられていると言える。幻覚とは、不正確であるか、あるいは誤った根拠付けがなされた応答と定義される。

本稿は、法的AIツールにおける幻覚現象への対処の重要性を強調している。幻覚はユーザーを誤導し、潜在的に危険な結果を招く可能性があるためである。関連性のない情報源やツールの主張と矛盾する情報源へのリンクだけでは、幻覚の発生を保証できないと論じている。

RAGは法的幻覚の軽減に有望である一方、法領域では限界がある。本稿は応答の正確性と根拠性を評価する枠組みを提供し、検索および生成ステップにおける慎重な設計選択の必要性を強調する。幻覚に対処するには、正確かつ信頼性の高い法的AIツールを確保するため、コンピュータサイエンスと法学の両分野における専門知識が求められる。

汎用チャットボット（GPT-4）と比較して幻覚は減少しているものの、LexisNexisとThomson Reutersが開発したAI研究ツールはいずれも17％以上の確率で幻覚を生成することが判明した。

参照された記事を表示する