用于法律文档检索的注意力深度神经网络
信息检索
2023-04-12 v1 计算与语言
摘要
法律文本检索是广泛法律文本处理任务（如法律问答、法律案件蕴涵和成文法检索）的关键组成部分。法律文本检索的性能在很大程度上取决于文本（包括查询和法律文档）的表示。基于良好表示，法律文本检索模型可有效将查询匹配至相关文档。由于法律文档常含长篇条文且仅有部分与查询相关，现有模型表示此类文档颇具挑战。本文研究基于注意力神经网络的法律文本表示用于成文法文档检索。我们提出一种使用带注意力机制的深度神经网络的通用方法。基于此，我们开发了两种具有稀疏注意力的层次化架构来表示长句与条文，并命名为 Attentive CNN 和 Paraformer。方法在英文、日文和越南文不同规模与特性的数据集上评估。实验结果表明：i）注意力神经方法在跨数据集与语言的检索性能上大幅优于非神经方法；ii）预训练基于 transformer 的模型在小数据集上以高计算复杂度为代价取得更好精度，而更轻量的 Attentive CNN 在大数据集上取得更好精度；iii）我们提出的 Paraformer 在 COLIEE 数据集上优于最先进方法，在 Top-N 检索任务中取得最高召回率与 F2 分数。
引用
@article{arxiv.2212.13899,
title = {Attentive Deep Neural Networks for Legal Document Retrieval},
author = {Ha-Thanh Nguyen and Manh-Kien Phi and Xuan-Bach Ngo and Vu Tran and Le-Minh Nguyen and Minh-Phuong Tu},
journal= {arXiv preprint arXiv:2212.13899},
year = {2023}
}
备注
Preprint version. The official version will be published in Artificial Intelligence and Law journal