PTP：基于扰动正则化器提升提示微调的稳定性与性能
计算与语言
2023-05-05 v1 人工智能
摘要
近期研究表明，在自然语言理解下游任务上，提示微调（prompt tuning）比微调（fine-tuning）能更好地发挥大语言模型的能力。然而，现有提示微调方法存在训练不稳定问题，即不同随机种子下分数的方差相当大。为解决这一关键问题，我们首先研究并发现，当对原始提示微调的损失景观进行可视化时，其地形陡峭，输入数据的微小变化即可引起损失景观的大幅波动。这是导致提示微调不稳定的本质因素。基于该观察，我们将能够平滑损失景观的基于扰动的正则化器引入提示微调。我们提出一种称为基于扰动正则化器的提示微调（PTP）的新算法，其不仅能显著缓解训练不稳定性，还能提升提示微调的性能。我们设计了两类基于扰动的正则化器，包括基于随机噪声的和基于对抗的。特别地，我们提出的扰动在文本空间与嵌入空间上均具有灵活性。大量实验表明所提方法在稳定训练方面的有效性。我们的新算法在 SuperGLUE 和 FewGLUE 基准上分别将最先进的提示微调方法提升了 1.94% 和 2.34%。
引用
@article{arxiv.2305.02423,
title = {PTP: Boosting Stability and Performance of Prompt Tuning with Perturbation-Based Regularizer},
author = {Lichang Chen and Heng Huang and Minhao Cheng},
journal= {arXiv preprint arXiv:2305.02423},
year = {2023}
}
备注
13 pages;