面向大型非结构化法律文档分类及其解释的分层神经框架

自动法律判决预测及其解释普遍受制于长达数万词且结构非均匀的案例文档问题。从此类文档预测判决并提取其解释成为一项艰巨任务，对于无结构标注的文档尤甚。我们将此问题定义为“稀缺标注法律文档”，并以一种基于深度学习的分类框架（称为 MESc；“基于多阶段编码器、带聚类的监督”框架）探索其结构信息缺失与长度过长问题，用于判决预测。我们探索了具有数十亿参数的 LLM（GPT-Neo 与 GPT-J）对法律文本的适应性及其域内（法律）迁移学习能力。同时，我们将它们的性能与适应性与 MESc 进行比较，并考察组合其最后一层嵌入的影响。针对此类分层模型，我们还提出一种名为 ORSE（“基于遮挡敏感性的相关句子提取器”）的解释提取算法，基于模型的输入遮挡敏感性，以文档中最相关的句子解释预测。我们探索这些方法，并借助 ILDC 数据集与 LexGLUE 数据集的一个子集，在来自印度、欧盟与美国的 legal documents 上通过大量实验与消融研究检验其有效性。MESc 相较先前最先进方法取得至少约 2 点的总性能增益，而应用于 MESc 的 ORSE 相较基线可解释性得分取得 50% 的总平均增益。