法律科技中NLP工具包与评估指标的性能比较
计算与语言
2021-03-23 v1 机器学习
摘要
自然语言处理的最新进展引入了具备无监督可迁移学习的先进神经语言模型，使用了不同的预训练目标。虽然这些模型在下游NLP任务上取得了优异结果，但各种领域自适应技术可提升其在特定领域任务上的性能。我们在法律任务上比较并分析了预训练神经语言模型XLNet（自回归）和BERT（自编码器）。结果表明，XLNet模型在我们的法律意见分类序列分类任务上表现更好，而BERT在NER任务上产生更好的结果。我们使用领域特定预训练和额外法律词汇进一步将BERT模型适配到法律领域。我们使用两种方法及其组合准备了BERT模型的多个变体。比较我们专攻法律领域的BERT模型变体，我们得出结论：额外的预训练和词汇技术均增强了BERT模型在法律意见分类任务上的性能。额外的法律词汇改善了BERT在NER任务上的性能。结合预训练和词汇技术进一步改善了最终结果。我们的Legal-Vocab-BERT模型在法律意见任务上给出了最佳结果，优于更大的预训练通用语言模型，即BERT-Base和XLNet-Base。
引用
@article{arxiv.2103.11792,
title = {Comparing the Performance of NLP Toolkits and Evaluation measures in Legal Tech},
author = {Muhammad Zohaib Khan},
journal= {arXiv preprint arXiv:2103.11792},
year = {2021}
}