DrBERT：面向生物医学与临床领域的法语鲁棒预训练模型
计算与语言
2023-05-08 v2
摘要
近年来，预训练语言模型（PLMs）在广泛的自然语言处理（NLP）任务上取得了最佳性能。虽然首批模型在通用领域数据上训练，但专用模型已经出现以更有效地处理特定领域。在本文中，我们提出了针对法语医学领域PLMs的原创研究。我们首次比较了在来自网络的公共数据和来自医疗机构的私有数据上训练的PLMs的性能。我们还在一系列生物医学任务上评估了不同的学习策略。特别地，我们展示了可以通过在目标数据上进一步预训练来利用已存在的非母语生物医学PLMs。最后，我们发布了法语生物医学领域首个专用PLMs，称为DrBERT，以及用于训练这些模型的、最大规模的开源许可医学数据语料库。
引用
@article{arxiv.2304.00958,
title = {DrBERT: A Robust Pre-trained Model in French for Biomedical and Clinical domains},
author = {Yanis Labrak and Adrien Bazoge and Richard Dufour and Mickael Rouvier and Emmanuel Morin and Béatrice Daille and Pierre-Antoine Gourraud},
journal= {arXiv preprint arXiv:2304.00958},
year = {2023}
}
备注
Accepted at ACL 2023