多语言模型的离散与软提示方法
计算与语言
2021-09-09 v1
摘要
已有研究表明，在英语中，离散与软提示在预训练语言模型（PLMs）的少样本学习中表现强劲。本文中，我们表明在多语言情形下离散与软提示优于微调：即多语言自然语言推理的跨语言迁移与语言内训练。例如，使用 48 个英文训练样本时，微调在跨语言迁移中取得 33.74% 的准确率，仅勉强超过多数类基线（33.33%）。相比之下，离散与软提示优于微调，分别达到 36.43% 和 38.79%。我们还展示了使用英语以外多种语言训练数据时提示方法的良好性能。
引用
@article{arxiv.2109.03630,
title = {Discrete and Soft Prompting for Multilingual Models},
author = {Mengjie Zhao and Hinrich Schütze},
journal= {arXiv preprint arXiv:2109.03630},
year = {2021}
}
备注
EMNLP 2021