SlovakBERT：斯洛伐克语掩码语言模型
计算与语言
2022-11-01 v2
摘要
我们引入一个名为 SlovakBERT 的新型斯洛伐克语掩码语言模型。据我们所知，这是首篇讨论基于 transformer 的斯洛伐克语语言模型的论文。我们在若干 NLP 任务上评估我们的模型并取得了最先进结果。该评估同样是为斯洛伐克语语言模型建立基准的首次尝试。我们发布了掩码语言模型，以及用于词性标注、情感分析和语义文本相似度的微调模型。
引用
@article{arxiv.2109.15254,
title = {SlovakBERT: Slovak Masked Language Model},
author = {Matúš Pikuliak and Štefan Grivalský and Martin Konôpka and Miroslav Blšták and Martin Tamajka and Viktor Bachratý and Marián Šimko and Pavol Balážik and Michal Trnka and Filip Uhlárik},
journal= {arXiv preprint arXiv:2109.15254},
year = {2022}
}
备注
12 pages, 2 figures