Swiss-Judgment-Prediction:一个多语言法律判决预测基准
计算与语言
2021-10-05 v1
摘要
在许多司法管辖区,法院过重的工作负担导致高度延迟。合适的预测性 AI 模型可协助法律从业者工作,从而提升并加速该流程。迄今,法律判决预测 (LJP) 数据集已以英语、法语和中文发布。我们公开发布一个多语言(德语、法语和意大利语)、历时(2000-2020)的瑞士联邦最高法院 (FSCS) 85K 案例语料库。我们评估基于最先进 BERT 的方法,包括两种克服 BERT 输入(文本)长度限制(至多 512 词元)的 BERT 变体。分层 BERT 具有最佳性能(德语和法语中约 68-70% 的宏 F1 分数)。此外,我们研究若干因素(来源州、发布年份、文本长度、法律领域)如何影响性能。我们发布基准数据集与我们的代码以加速未来研究并确保可复现性。
引用
@article{arxiv.2110.00806,
title = {Swiss-Judgment-Prediction: A Multilingual Legal Judgment Prediction Benchmark},
author = {Joel Niklaus and Ilias Chalkidis and Matthias Stürmer},
journal= {arXiv preprint arXiv:2110.00806},
year = {2021}
}
备注
9 pages, long paper at NLLP Workshop 2021 proceedings