关于自然语言处理中提示微调的可迁移性
计算与语言
2023-12-19 v2
摘要
提示微调(PT)是一种有前景的参数高效方法,用于利用极大的预训练语言模型(PLMs),其仅通过微调少量软提示即可达到与全参数微调相当的性能。然而,PT所需的训练时间远多于微调。直观上,知识迁移有助于提升效率。为探究我们能否通过提示迁移改进PT,我们在本工作中对软提示在不同下游任务与PLMs之间的可迁移性进行了实证调研。我们发现:(1)在零样本设定下,训练好的软提示可有效迁移至同一PLM上的相似任务,也可通过在与相似任务上训练得到的跨模型投影器迁移至其他PLMs;(2)当用作初始化时,相似任务的训练软提示与其他PLMs的投影提示能显著加速训练并提升PT性能。此外,为探究什么决定了提示可迁移性,我们考察了多种可迁移性指标,发现激活神经元的重叠率强烈反映可迁移性,这表明提示如何刺激PLMs至关重要。我们的发现表明提示迁移在改进PT方面颇具前景,后续研究应更多关注提示对PLMs的刺激。源代码可从https://github.com/thunlp/Prompt-Transferability获取。
引用
@article{arxiv.2111.06719,
title = {On Transferability of Prompt Tuning for Natural Language Processing},
author = {Yusheng Su and Xiaozhi Wang and Yujia Qin and Chi-Min Chan and Yankai Lin and Huadong Wang and Kaiyue Wen and Zhiyuan Liu and Peng Li and Juanzi Li and Lei Hou and Maosong Sun and Jie Zhou},
journal= {arXiv preprint arXiv:2111.06719},
year = {2023}
}