基于多语言提示翻译器的自然语言推理跨语言迁移
计算与语言
2024-03-20 v1
摘要
基于多语言预训练模型，结合提示学习的跨语言迁移已展现出良好的效果，其中在源语言中学习的软提示被迁移到目标语言用于下游任务，尤其在低资源场景下。为了高效迁移软提示，我们提出了一种新颖的框架——多语言提示翻译器（Multilingual Prompt Translator, MPT），其中引入了一个多语言提示翻译器，通过改变语言知识同时保留任务知识，来恰当地处理嵌入在提示中的关键知识。具体而言，我们首先在源语言中训练提示，并利用翻译器将其翻译为目标提示。此外，我们扩展了一个外部语料库作为辅助数据，在其上设计了一个预测答案概率的对齐任务，以转换语言知识，从而使目标提示具备多语言知识。在 XNLI 上的少样本设置中，MPT 相较于基线方法展现了显著的优越性。当迁移到与源语言差异较大的语言时，MPT 相比普通提示方法更为突出。
引用
@article{arxiv.2403.12407,
title = {Cross-Lingual Transfer for Natural Language Inference via Multilingual Prompt Translator},
author = {Xiaoyu Qiu and Yuechen Wang and Jiaxin Shi and Wengang Zhou and Houqiang Li},
journal= {arXiv preprint arXiv:2403.12407},
year = {2024}
}
备注
6 pages, 5 figures, conference