基于统一文本到文本Transformer的法律判决预测依赖学习
计算与语言
2021-12-14 v1 人工智能
机器学习
摘要
给定案件事实，法律判决预测（LJP）涉及一系列子任务，如预测违反法条、罪名与刑罚期限。我们提出利用统一的文本到文本Transformer进行LJP，其中子任务间的依赖关系可在自回归解码器内自然建立。相较以往工作，其有三个优势：（1）契合掩码语言模型的预训练模式，从而可受益于各子任务的语义提示而非将其视为原子标签；（2）采用单一统一架构，实现所有子任务间全参数共享；（3）可兼顾分类与生成式子任务。我们表明该统一Transformer虽在通用领域文本上预训练，仍优于专为法律领域定制的预训练模型。通过大量实验，我们发现捕获依赖的最佳顺序不同于人类直觉，且对人类最合理的逻辑顺序对模型而言可能次优。我们进一步加入两项辅助任务：法庭观点生成与法条内容预测，表明其不仅能提升预测准确率，还能在模型出错时对输出提供可解释说明。在最佳配置下，我们的模型大幅优于先前SOTA及统一Transformer的单任务版本。
引用
@article{arxiv.2112.06370,
title = {Dependency Learning for Legal Judgment Prediction with a Unified Text-to-Text Transformer},
author = {Yunyun Huang and Xiaoyu Shen and Chuanyi Li and Jidong Ge and Bin Luo},
journal= {arXiv preprint arXiv:2112.06370},
year = {2021}
}
备注
The first two authors contributed equally