使用 Transformer 模型在法律领域进行零样本跨语言迁移
计算与语言
2021-12-14 v2 人工智能
摘要
零样本跨语言迁移是现代 NLP 模型与架构支持低资源语言的重要特性。在本工作中，我们研究在多标签文本分类下从英语到法语和德语的零样本跨语言迁移，其中我们使用英语训练集训练分类器，并使用法语和德语测试集测试。我们将英语法律文档主题分类数据集 EURLEX57K 扩展以法语和德语官方翻译。我们考察若干训练技巧，即渐进解冻(Gradual Unfreezing)与语言模型微调(Language Model finetuning)，对零样本跨语言迁移质量的影响。我们发现多语言预训练模型(M-DistilBERT、M-BERT)的语言模型微调在法语和德语测试集上分别带来 32.0-34.94% 与 76.15-87.54% 的相对提升。此外，训练期间预训练模型各层的渐进解冻为法语带来 38-45%、为德语带来 58-70% 的相对提升。相较于使用英语、法语和德语训练集以联合训练(Joint Training)方案训练模型，基于零样本 BERT 的分类模型达到了联合训练 BERT 分类模型性能的 86%。
引用
@article{arxiv.2111.14192,
title = {Zero-Shot Cross-Lingual Transfer in Legal Domain Using Transformer Models},
author = {Zein Shaheen and Gerhard Wohlgenannt and Dmitry Mouromtsev},
journal= {arXiv preprint arXiv:2111.14192},
year = {2021}
}
备注
Accepted in CSCI2021 conference