利用领域预训练与神经网络增强法律论点挖掘
计算与语言
2022-04-07 v2
摘要
上下文词嵌入模型 BERT 已在标注数据有限的下游任务中证明了其能力。BERT 及其变体有助于减轻许多跨学科研究领域（例如数字人文中的法律论点挖掘）中复杂标注工作的负担。论点挖掘旨在开发可自动检索论点并识别论证从句间关系的文本分析工具。由于论证是判例法的关键方面之一，面向法律文本的论点挖掘工具适用于学术与非学术法律研究。领域特定的 BERT 变体（以特定背景语料预训练）在许多任务中也取得了强劲表现。据我们所知，先前关于司法判例法论点挖掘的机器学习研究仍严重依赖统计模型。本文对经典与上下文嵌入模型及其在欧洲人权法院（ECHR）实际判例法上的表现进行了广泛研究。在研究期间，我们还探索了多种与不同嵌入结合的神经网络。我们的实验全面概述了法律论点挖掘任务的各类方法。我们得出结论：领域预训练的 transformer 模型在该领域具有巨大潜力，尽管传统嵌入在与额外神经网络层结合时也能取得强劲表现。
引用
@article{arxiv.2202.13457,
title = {Enhancing Legal Argument Mining with Domain Pre-training and Neural Networks},
author = {Gechuan Zhang and Paul Nulty and David Lillis},
journal= {arXiv preprint arXiv:2202.13457},
year = {2022}
}