KinyaBERT：一种形态学感知的卢旺达语语言模型

诸如 BERT 之类的预训练语言模型在应对许多自然语言处理任务时取得了成功。然而，这些模型中常用的无监督子词分词方法（例如字节对编码——BPE）在处理形态丰富语言时并非最优。即便给定形态分析器，将语素朴素地序列化为标准 BERT 架构也难以有效捕捉形态组合性并表达词相对句法规则。我们通过提出一种简单而有效的双层 BERT 架构来应对这些挑战，该架构利用形态分析器并显式表示形态组合性。尽管 BERT 取得了成功，但其大多数评估都是在资源丰富的语言上进行的，掩盖了其在低资源语言上的适用性。我们在低资源且形态丰富的卢旺达语上评估了所提出的方法，并将提出的模型架构命名为 KinyaBERT。一组稳健的实验结果表明，KinyaBERT 在命名实体识别任务上的 F1 分数比坚实的基线高出 2%，在机器翻译的 GLUE 基准的平均分数上高出 4.3%。KinyaBERT 微调具有更好的收敛性，并且即使在存在翻译噪声的情况下，在多个任务上也能取得更稳健的结果。