学会初始化：元学习能否改善提示微调中的跨任务泛化？
计算与语言
2023-11-21 v3 人工智能
摘要
提示微调（PT）仅对每个任务额外一段 token 的嵌入进行调优，并保持预训练语言模型（PLM）冻结，已在少样本学习中展现出卓越性能。尽管如此，PT 已被证明严重依赖于提示嵌入的良好初始化。在本工作中，我们研究元提示微调（MPT），以系统性地探索元学习如何通过从其他相关任务学习初始化提示嵌入来帮助（若可以）改善 PT 中的跨任务泛化。我们在大量少样本任务上，以不同的源/目标任务配置，在广泛的适配设定下对一组代表性元学习算法进行实证分析。通过大量实验与分析，我们证明了 MPT 的有效性。我们发现改进在分类任务上尤为显著。对于问答等其他类型任务，我们观察到虽然 MPT 在大多数情况下能优于 PT，但并非总是优于多任务学习。我们进一步从任务相似性的视角提供了深入分析。
引用
@article{arxiv.2302.08143,
title = {Learning to Initialize: Can Meta Learning Improve Cross-task Generalization in Prompt Tuning?},
author = {Chengwei Qin and Qian Li and Ruochen Zhao and Shafiq Joty},
journal= {arXiv preprint arXiv:2302.08143},
year = {2023}
}
备注
ACL2023