通过受控操作评估词汇语义在跨语言迁移中的作用

尽管跨语言模型迁移在许多设置中有效，但对其起作用的条件仍了解有限。在本文中，我们聚焦于评估词汇语义在跨语言迁移中的作用，将其影响与其他语言特性进行比较。逐一考察每种语言特性，我们系统分析了英语与目标语言之间的差异如何影响将语言与英语预训练表示空间对齐的能力。我们通过以模拟目标语言特定特征的方式人为操作英语句子，并报告每种操作对表示空间对齐质量的影响。我们发现，像书写系统或词序这样的特性仅对对齐质量有有限影响，而两种语言之间的词汇匹配程度——我们用翻译熵来度量——极大地影响对齐质量。