CitaLaw：在法律领域通过引用增强大语言模型
计算与语言
2025-02-25 v2
摘要
在本文中，我们提出了CitaLaw，这是第一个旨在评估LLMs生成具有适当引用的法律合理回答能力的基准。CitaLaw包含一组多样化的法律问题，面向外行人和从业者，并配有一个全面的法律条文和先例案例语料库作为参考池。该框架使基于LLM的系统能够从参考语料库中检索支持性引用，并将这些引用与回答中的相应句子对齐。此外，我们引入了基于三段论的评估方法，以评估检索到的引用与LLM生成回答之间的法律对齐，以及它们与用户问题的一致性。在2个开放域和7个法律特定LLM上的大量实验表明，整合法律引用显著提高了回答质量。此外，我们提出的基于三段论的评估方法与人类判断表现出高度一致性。
引用
@article{arxiv.2412.14556,
title = {CitaLaw: Enhancing LLM with Citations in Legal Domain},
author = {Kepu Zhang and Weijie Yu and Sunhao Dai and Jun Xu},
journal= {arXiv preprint arXiv:2412.14556},
year = {2025}
}