JuriBERT：面向法国法律文本的掩码语言模型适配
计算与语言
2022-02-15 v2
摘要
语言模型在适配到特定领域后已被证明非常有用。然而，关于法语领域特定 BERT 模型适配的研究甚少。本文中，我们致力于创建适配法国法律文本、旨在辅助法律从业者的语言模型。我们得出结论：某些特定任务并不能从在大量数据上预训练的通用语言模型中获益。我们探索了领域特定子语言中较小规模架构的使用及其对法国法律文本的好处。我们证明，领域特定的预训练模型在法律领域中可优于其对应的通用模型。最后，我们发布了 JuriBERT，一套适配于法国法律领域的新型 BERT 模型。
引用
@article{arxiv.2110.01485,
title = {JuriBERT: A Masked-Language Model Adaptation for French Legal Text},
author = {Stella Douka and Hadi Abdine and Michalis Vazirgiannis and Rajaa El Hamdani and David Restrepo Amariles},
journal= {arXiv preprint arXiv:2110.01485},
year = {2022}
}
备注
7 pages