基于提示的微调是否总优于常规微调？来自跨语言语言理解的洞察
计算与语言
2023-07-18 v1
摘要
多语言预训练语言模型(MPLMs)通过在源语言（如英语）的任务特定标注数据上微调MPLMs并在广泛的目标语言上评估，已在各类自然语言理解任务的零样本跨语言迁移中展现出显著的性能提升。近期研究表明，在少样本场景下基于提示的微调优于常规微调。然而，基于提示的学习在多语言任务中的探索仍有限。在本研究中，我们提出ProFiT流水线以探究基于提示的微调(Prompt-based Finetuning)的跨语言能力。我们在多样的跨语言语言理解任务（情感分类、释义识别与自然语言推理）上开展全面实验，并从经验上分析基于提示的微调性能在跨语言迁移中于不同少样本与全数据设定下的变化趋势。我们的结果揭示了基于提示的微调在跨语言语言理解中的有效性与通用性。我们的发现表明，基于提示的微调在全数据场景下优于常规微调(vanilla finetuning)，且在少样本场景下展现出更大优势，并随任务类型呈现不同性能模式。此外，我们分析了语言相似度与预训练数据规模等影响基于提示的微调跨语言性能的潜在因素。总体而言，我们的工作为基于提示的微调的跨语言能力提供了有价值的洞察。
引用
@article{arxiv.2307.07880,
title = {Is Prompt-Based Finetuning Always Better than Vanilla Finetuning? Insights from Cross-Lingual Language Understanding},
author = {Bolei Ma and Ercong Nie and Helmut Schmid and Hinrich Schütze},
journal= {arXiv preprint arXiv:2307.07880},
year = {2023}
}
备注
KONVENS 2023