探索用于法律判决预测的半监督分层堆叠编码器

从未经标注的案件事实预测法律案件的判决是一项具有挑战性的任务。冗长且非统一的文档结构给提取决策预测信息带来了更大的挑战。在这项工作中，我们探索并提出了一种两级分类机制（包括有监督和无监督）；通过使用领域特定的预训练 BERT 从长文档中提取句子嵌入形式的信息，并利用 transformer 编码器层进一步处理，再使用无监督聚类从这些嵌入中提取隐藏标签，从而更好地预测法律案件的判决。我们利用该机制进行了若干实验，在 ILDC 数据集上取得了比先前提出的方法更高的性能提升。我们的实验结果也显示了在法律文书信息处理中 Transformer 编码器领域特定预训练的重要性。