呼叫 Larisa Ivanovna：语码转换愚弄了多语言 NLU 模型

开发面向任务的对话助手的实际需求要求具备理解多种语言的能力。针对多语言自然语言理解 (NLU) 的新基准包含多种语言的单语句子，并标注了意图和槽位。在这种设置下，跨语言迁移模型在联合意图识别和槽位填充方面表现出卓越的性能。然而，现有的基准缺乏语码转换话语，由于语法结构的复杂性，这些话语难以收集和标注。由于将语码转换排除在范围之外，对 NLU 模型的评估似乎存在偏差且受限。我们的工作采用公认的方法来生成合理且听起来自然的语码转换话语，并使用它们来创建一个合成语码转换测试集。基于实验，我们报告称，最先进的 NLU 模型无法处理语码转换。在最坏的情况下，以语义准确率评估的性能在不同语言中从 80% 降至 15%。进一步我们表明，在合成语码混合数据上进行预训练，有助于在所提出的测试集上保持与单语数据相当的性能。最后，我们分析了不同的语言对，并表明语言越接近，NLU 模型处理其交替的能力越强。这与多语言模型如何在语言之间进行迁移的普遍理解相一致。