利用提示微调实现对话任务的高效对齐跨语言迁移学习

对英语等高资源语言训练的语言模型进行跨语言迁移已在许多NLP任务中得到广泛研究，但对对话任务的关注相当有限。这部分是由于获取非英语对话数据的高成本，导致覆盖有限。在本工作中，我们引入了用于跨语言对齐预训练的XSGD，这是一个并行的大规模多语言对话数据集，我们通过将仅含英语的Schema-Guided Dialogue（SGD）数据集（Rastogi等人，2020）翻译为其他105种语言而创建。XSGD每种语言约含33万条话语。为促进对齐的跨语言表征，我们开发了一种基于提示微调的高效方法来学习对齐提示。我们还考察了两种不同的分类器：基于NLI的分类器和普通分类器，并测试由对齐提示所赋能的跨语言能力。我们在两个对话任务上评估模型的跨语言泛化能力：槽填充和意图分类。我们的结果展示了基于NLI的分类器的强大且高效的建模能力，以及我们的对齐提示所实现的巨大跨语言迁移改进，尤其在少样本设定下。此外，我们强调了相较于text-davinci-003和ChatGPT等LLMs，我们的方法在零样本和少样本设定下的良好结果。尽管LLMs在英语中表现出令人印象深刻的性能，但其在其他语言（尤其是低资源语言）中的跨语言能力有限。