作为自然语言推理的法律遗嘱语句有效性评估
计算与语言
2022-11-01 v1
摘要
本工作引入了一个聚焦于法律遗嘱中语句有效性的自然语言推理（NLI）数据集。该数据集的独特性在于：（a）每个蕴含决策需要三个输入：遗嘱中的语句、法律，以及立遗嘱人死亡时成立的条件；且（b）所包含的文本长于当前 NLI 数据集中的文本。我们在此数据集上训练了八个神经 NLI 模型。所有模型均取得超过 80% 的宏 F1 与准确率，表明神经方法能较好地处理该任务。然而，组准确率——一种以从同一语句生成的正负例组为单元计算的更严格评估指标——最好仅在 80 分中位，说明模型对该任务的理解仍流于表面。进一步的消融分析与解释实验表明，三段文本均被用于预测，但部分决策依赖于语义无关的 token。这表明在这些较长文本上很可能发生过拟合，且该任务尚需额外研究才能解决。
引用
@article{arxiv.2210.16989,
title = {Validity Assessment of Legal Will Statements as Natural Language Inference},
author = {Alice Saebom Kwak and Jacob O. Israelsen and Clayton T. Morrison and Derek E. Bambauer and Mihai Surdeanu},
journal= {arXiv preprint arXiv:2210.16989},
year = {2022}
}
备注
10 pages, 4 figures; To be published in the Findings of the Association for Computational Linguistics: EMNLP 2022