GREEK-BERT：造访芝麻街的希腊人
计算与语言
2020-09-04 v2
摘要
基于 Transformer 的语言模型，如 BERT 及其变体，已在通用基准数据集（如 GLUE、SQUAD、RACE）上的若干下游自然语言处理（NLP）任务中取得最先进的性能。然而，这些模型主要应用于资源丰富的英语。本文中，我们提出 GREEK-BERT，一种面向现代希腊语的单语 BERT 基语言模型。我们在三个 NLP 任务上评估其性能，即词性标注、命名实体识别与自然语言推理，取得了最先进的性能。有趣的是，在其中两个基准上，GREEK-BERT 大幅（5%–10%）优于两个多语 Transformer 基模型（M-BERT、XLM-R）以及基于预训练词嵌入的较浅神经基线。最为重要的是，我们公开了 GREEK-BERT 与我们的训练代码，以及展示 GREEK-BERT 如何为下游 NLP 任务微调的代码。我们期望这些资源能推动现代希腊语的 NLP 研究与应用。
引用
@article{arxiv.2008.12014,
title = {GREEK-BERT: The Greeks visiting Sesame Street},
author = {John Koutsikakis and Ilias Chalkidis and Prodromos Malakasiotis and Ion Androutsopoulos},
journal= {arXiv preprint arXiv:2008.12014},
year = {2020}
}
备注
8 pages, 1 figure, 11th Hellenic Conference on Artificial Intelligence (SETN 2020)