利用大语言模型进行法律案例检索中的相关性判断
人工智能
2025-08-15 v3 信息检索
摘要
确定哪些法律案例与给定查询相关，需要处理冗长的文本并运用细致的法律推理。传统上，这项任务需要耗费大量时间并依赖领域专业知识来识别关键法律事实并得出合理的司法结论。此外，现有的包含法律案例相似性的数据通常缺乏可解释性，使得难以理解相关性判断背后的依据。随着大语言模型（LLMs）能力的不断提升，研究人员已开始探索其在该领域的潜力。然而，如何利用通用大语言模型在法律案例检索中进行可靠的相关性判断，在很大程度上仍未得到探索。为了填补这一研究空白，我们提出了一种新颖的少样本方法，利用 LLMs 生成与专家对齐且可解释的相关性判断。该方法将判断过程分解为多个阶段，模拟人类标注员的工作流程，并允许灵活引入专家推理以提高相关性判断的准确性。重要的是，它还确保了可解释的数据标注，为相关性评估过程提供了透明度和清晰度。通过比较 LLMs 与人类专家做出的相关性判断，我们实证证明了所提出的方法能够产生可靠且有效的相关性评估。此外，我们证明，在极少的专家监督下，我们的方法使大语言模型能够获得案例分析专业知识，并随后通过基于标注的知识蒸馏将这一能力转移给较小的模型。
引用
@article{arxiv.2403.18405,
title = {Leveraging Large Language Models for Relevance Judgments in Legal Case Retrieval},
author = {Shengjie Ma and Qi Chu and Jiaxin Mao and Xuhui Jiang and Haozhe Duan and Chong Chen},
journal= {arXiv preprint arXiv:2403.18405},
year = {2025}
}