SwissBERT：面向瑞士的多语言语言模型
计算与语言
2024-01-17 v3
摘要
我们提出 SwissBERT，一个专门用于处理与瑞士相关文本的掩码语言模型。SwissBERT 是一个预训练模型，我们将其适配于用瑞士国家语言——德语、法语、意大利语和罗曼什语——撰写的新闻文章。我们在与瑞士相关的自然语言理解任务上评估 SwissBERT，发现它往往在这些任务上优于先前的模型，尤其是在处理当代新闻和/或罗曼什语 Grischun 时。由于 SwissBERT 使用了语言适配器，未来的工作可将其扩展至瑞士德语方言。该模型及我们的开源代码已在 https://github.com/ZurichNLP/swissbert 公开发布。
引用
@article{arxiv.2303.13310,
title = {SwissBERT: The Multilingual Language Model for Switzerland},
author = {Jannis Vamvas and Johannes Graën and Rico Sennrich},
journal= {arXiv preprint arXiv:2303.13310},
year = {2024}
}
备注
SwissText 2023 [v3: Changed template because the proceedings moved to a different publisher. Same content.]