JEC-QA：一个法律领域问答数据集
计算与语言
2019-11-28 v1
摘要
我们提出 JEC-QA，这是法律领域中最大的问答数据集，收集自中国国家司法考试。该考试是对法律从业者专业技能的综合评估。大学生需要通过该考试才能被认证为律师或法官。该数据集对现有问答方法具有挑战性，因为检索相关材料和回答问题都需要逻辑推理能力。由于回答法律问题对多种推理能力的高要求，最先进的模型在 JEC-QA 上仅能达到约 28% 的准确率，而熟练人类和不熟练人类分别能达到 81% 和 64% 的准确率，这表明在该任务上人类与机器之间存在巨大差距。我们将发布 JEC-QA 及我们的基线模型，以帮助提升机器理解模型的推理能力。您可从 http://jecqa.thunlp.org/ 访问该数据集。
引用
@article{arxiv.1911.12011,
title = {JEC-QA: A Legal-Domain Question Answering Dataset},
author = {Haoxi Zhong and Chaojun Xiao and Cunchao Tu and Tianyang Zhang and Zhiyuan Liu and Maosong Sun},
journal= {arXiv preprint arXiv:1911.12011},
year = {2019}
}
备注
9 pages, 2 figures, 10 tables, accepted by AAAI2020