基于多语言验证器软提示增强跨语言自然语言推理
计算与语言
2023-05-23 v1 人工智能
摘要
跨语言自然语言推理是跨语言语言理解中的基础问题。许多近期工作使用提示学习来解决XNLI中带标注平行语料匮乏的问题。然而，这些方法采用离散提示，仅将模板简单翻译到目标语言，且需要外部专家知识来设计模板。此外，人工设计模板词的离散提示不可训练，且无法在推理阶段灵活迁移到目标语言。本文提出一种用于XNLI的带有多语言验证器（Multilingual Verbalizer）的软提示学习框架（SoftMV）。SoftMV首先为输入样本构建带软提示的完形填空式问题，然后利用双语词典为原问题生成增强的多语言问题。SoftMV采用多语言验证器，通过一致性正则化将原始与增强多语言问题的表示对齐到同一语义空间。在XNLI上的实验结果表明，SoftMV可以达到最先进性能，并在少样本和全样本跨语言迁移设置下显著优于先前方法。
引用
@article{arxiv.2305.12761,
title = {Enhancing Cross-lingual Natural Language Inference by Soft Prompting with Multilingual Verbalizer},
author = {Shuang Li and Xuming Hu and Aiwei Liu and Yawen Yang and Fukun Ma and Philip S. Yu and Lijie Wen},
journal= {arXiv preprint arXiv:2305.12761},
year = {2023}
}
备注
Accept at ACL2023