软提示调优用于跨语言迁移：少即是多
计算与语言
2024-02-07 v1 人工智能
摘要
软提示调优（SPT）是一种参数高效的方法，通过在预训练语言模型（PLM）的输入层插入可学习的嵌入（即软提示）来适应特定任务，而不修改其参数。本文研究了SPT在跨语言迁移中的潜力。与以往关于SPT用于跨语言迁移的研究通常同时微调软提示和模型参数不同，我们坚持SPT的原始意图，保持模型参数冻结，仅训练软提示。这不仅降低了全模型微调的计算成本和存储开销，而且我们证明，SPT固有的这种参数效率可以增强对语言距离较远的语言的跨语言迁移性能。此外，我们探讨了与提示相关的不同因素（如长度或重新参数化）如何影响跨语言迁移性能。
引用
@article{arxiv.2402.03782,
title = {Soft Prompt Tuning for Cross-Lingual Transfer: When Less is More},
author = {Fred Philippy and Siwen Guo and Shohreh Haddadan and Cedric Lothritz and Jacques Klein and Tegawendé F. Bissyandé},
journal= {arXiv preprint arXiv:2402.03782},
year = {2024}
}
备注
Accepted at the 1st Workshop on Modular and Open Multilingual NLP (co-located with EACL 2024)