超越案例法: 评估面向法规中心法律问答的结构感知检索与安全性
信息检索
2026-04-09 v1 人工智能
摘要
法律问答基准测试主要聚焦于案例法，忽视了法规中心监管推理的独特挑战。在法规领域，相关证据分布在层次化链接的文档中，造成了法规检索缺口——传统检索器在此失效，模型在上下文不完整时常常产生幻觉。我们引入了SearchFireSafety，一个面向法规中心法律问答的结构与安全感知基准测试。以消防安全法规为代表性案例实例化，该基准测试评估模型能否检索层次化碎片化的证据，并在法规上下文不足时安全地拒绝回答。SearchFireSafety采用双源评估框架，结合需要引用感知检索的真实问题以及压力测试幻觉和拒绝行为的合成部分上下文场景。多组大语言模型的实验表明，图引导检索显著提升了性能，但也揭示了一个关键的安全权衡：领域适配模型在关键法规证据缺失时更容易产生幻觉。我们的发现强调了需要联合评估层次化检索和模型安全性的基准测试。
引用
@article{arxiv.2604.06173,
title = {Beyond Case Law: Evaluating Structure-Aware Retrieval and Safety in Statute-Centric Legal QA},
author = {Kyubyung Chae and Jewon Yeom and Jeongjae Park and Seunghyun Bae and Ijun Jang and Hyunbin Jin and Jinkwan Jang and Taesup Kim},
journal= {arXiv preprint arXiv:2604.06173},
year = {2026}
}