ClassActionPrediction：一个针对美国集体诉讼案件法律判决预测的具有挑战性的基准
计算与语言
2022-11-02 v1 人工智能
机器学习
神经与进化计算
摘要
法律自然语言处理（NLP）研究领域近来十分活跃，其中法律判决预测（LJP）已成为被研究最为广泛的任务之一。迄今为止，大多数公开发布的 LJP 数据集来自大陆法系国家。在这项工作中，我们首次发布了一个聚焦于美国集体诉讼案件的具有挑战性的 LJP 数据集。这是普通法体系中第一个专注于更困难且更现实任务的数据集，该任务以诉状作为输入，而非通常使用由法院撰写的事实摘要。此外，我们通过收集专家人工预测来研究该任务的难度，结果表明即便人类专家在该数据集上也仅能达到 53% 的准确率。我们的 Longformer 模型明显优于人类基线（63%），尽管其仅考虑了前 2,048 个词元。进一步地，我们进行了详细的错误分析，发现 Longformer 模型的校准程度显著优于人类专家。最后，我们公开发布了该数据集及实验中使用的代码。
引用
@article{arxiv.2211.00582,
title = {ClassActionPrediction: A Challenging Benchmark for Legal Judgment Prediction of Class Action Cases in the US},
author = {Gil Semo and Dor Bernsohn and Ben Hagag and Gila Hayat and Joel Niklaus},
journal= {arXiv preprint arXiv:2211.00582},
year = {2022}
}