利用双重提示增强实现跨语言提示学习
计算与语言
2023-05-25 v2 人工智能
摘要
提示学习在少样本场景中展现出有前景的结果。然而，其在多语言/跨语言问题上的优势尚未被充分挖掘。Zhao 和 Schütze（2021）通过表明跨语言提示优于跨语言微调，在该方向上做了初步探索。本文中，我们对跨语言提示中各组件的效果进行实证探索，并推导出语言无关的通用提示学习（Universal Prompting），有助于缓解源语言训练与目标语言推断之间的差异。在此基础上，我们提出 DPA，一种双重提示增强框架，旨在缓解少样本跨语言提示中的数据稀缺问题。值得注意的是，在 XNLI 上，我们的方法仅用每类 16 个英文训练样本便达到 46.54%，显著优于微调的 34.99%。我们的代码见 https://github.com/DAMO-NLP-SG/DPA。
引用
@article{arxiv.2202.07255,
title = {Enhancing Cross-lingual Prompting with Dual Prompt Augmentation},
author = {Meng Zhou and Xin Li and Yue Jiang and Lidong Bing},
journal= {arXiv preprint arXiv:2202.07255},
year = {2023}
}
备注
ACL 2023 Findings