SAILER：面向法律案件检索的结构感知预训练语言模型

法律案件检索旨在为查询案件寻找相关案件，在智能法律系统中起核心作用。尽管预训练在即席检索任务中已取得成效，针对法律案件检索的有效预训练策略仍有待探索。与一般文档相比，法律案件文档通常为具有内在逻辑结构的长文本序列。然而，多数现有语言模型难以理解不同结构间的长距离依赖。此外，不同于一般检索，法律领域的相关性对关键法律要素敏感。关键法律要素上细微的差异即可显著影响相关性判断。然而，现有面向通用目的的预训练语言模型尚未具备处理法律要素的能力。为解决这些问题，本文提出 SAILER，一种面向法律案件检索的新型结构感知（Structure-Aware）预训练语言模型。其突出之处体现在以下三方面：（1）SAILER 充分利用法律案件文档所含结构信息，并更关注关键法律要素，类似于法律专家浏览法律案件文档的方式。（2）SAILER 采用非对称编码器-解码器架构整合若干不同预训练目标。由此，跨任务的丰富语义信息被编码进稠密向量。（3）SAILER 即便无任何法律标注数据也具备强大判别能力，可准确区分不同罪名的法律案件。在公开法律基准上的大量实验表明，我们的方法在法律案件检索中显著优于先前最先进的方法。