在多语言语言模型上提示微调可远优于微调以实现跨语言理解
计算与语言
2022-12-14 v2 人工智能
摘要
预训练的多语言语言模型在一系列自然语言理解（NLU）任务的零样本跨语言模型迁移中展现出显著的性能提升。此前，对于零样本跨语言评估，预训练模型仅在英文数据上微调并在多种目标语言上测试。本文中，我们使用提示微调在各种 NLU 任务（句子分类、序列标注、问答）上进行跨语言评估，并与微调进行比较。结果表明，提示微调在仅调优 0.1% 至 0.3% 参数的情况下，跨数据集实现了远优于微调的跨语言迁移。此外，我们通过分析证明，提示微调能在下游任务上获得具有更好对齐决策边界的表示的更好跨语言可迁移性。
引用
@article{arxiv.2210.12360,
title = {Prompt-Tuning Can Be Much Better Than Fine-Tuning on Cross-lingual Understanding With Multilingual Language Models},
author = {Lifu Tu and Caiming Xiong and Yingbo Zhou},
journal= {arXiv preprint arXiv:2210.12360},
year = {2022}
}
备注
EMNLP 2022. Code link is added