英语在评估多语言语言模型中的角色

多语言自然语言处理日益受到关注，众多模型、基准测试和方法陆续推出以支持多种语言。在多语言模型评估中，常常使用英语作为提示语言模型（LM），主要是为了克服其他语言指令调优数据匮乏的难题。在本位论文中，我们阐述了英语在多语言 LM 评估中承担的两个角色：作为接口和自然语言。我们认为，这两个角色具有不同的目标：分别是任务性能和语言理解。在数据集和评估设置的示例中突显了这一差异。大量研究明确使用英语作为接口以提升任务性能。我们建议摆脱这种不够精确的方法，转而专注于推进语言理解。