多语言命名实体识别中的迁移来源

命名实体本质上具有多语言性，且任意给定语言的标注可能有限。这促使我们考虑多语命名实体识别（NER），即使用一个模型并利用来自多种语言的标注数据进行训练。然而，这一简单想法的直接实现在实践中并非总是有效：使用多语言标注数据朴素地训练 NER 模型，尽管可获取更多训练数据，却始终逊于仅用单语数据训练的模型。本文的起点是针对该问题的一种简单解法，其中多语模型在单语数据上微调后，能持续且显著优于其单语对应模型。为解释此现象，我们探究多语 NER 模型中的多语言迁移来源，并考察多语模型与其单语对应模型的权重结构。我们发现多语模型高效地跨语言共享许多参数，且微调可能利用其中大量参数。