ACORD：面向法律合同起草的专家标注检索数据集
计算与语言
2025-09-23 v4
摘要
信息检索，特别是合同条款检索，是合同起草的基础，因为律师很少从头起草合同；相反，他们定位并修改最相关的先例。我们引入了Atticus条款检索数据集（ACORD），这是第一个完全由专家标注的合同起草检索基准。ACORD专注于复杂的合同条款，如责任限制、赔偿、控制权变更和最惠国待遇。它包含114个查询和超过126,000个查询-条款对，每个对按1到5星等级评分。任务是找到与查询最相关的先例条款。双编码器检索器结合逐点LLM重排序器显示出有希望的结果。然而，仍需实质性改进以有效管理律师通常承担的复杂法律工作。作为第一个由专家标注的合同起草检索基准，ACORD可以作为NLP社区有价值的IR基准。
引用
@article{arxiv.2501.06582,
title = {ACORD: An Expert-Annotated Retrieval Dataset for Legal Contract Drafting},
author = {Steven H. Wang and Maksim Zubkov and Kexin Fan and Sarah Harrell and Yuyang Sun and Wei Chen and Andreas Plesner and Roger Wattenhofer},
journal= {arXiv preprint arXiv:2501.06582},
year = {2025}
}
备注
ACL 2025 Findings. 9 pages + appendix. Code and data are available at https://www.atticusprojectai.org/acord