基于低秩重参数化的分解提示微调
计算与语言
2023-10-17 v1
摘要
尽管提示微调方法已以高效率取得竞争性性能，我们观察到它们无一例外地采用相同的初始化过程，即软提示（soft prompt）要么随机初始化，要么从现有嵌入词表导出。与这些常规方法不同，本研究旨在探索一种导出软提示的替代方式。我们的实证研究表明，软提示通常表现出低内蕴秩（intrinsic rank）特性。基于该观察，我们提出分解提示微调，一种利用低秩矩阵初始化软提示的新方法。通过低秩重参数化，我们的方法在保持有效性的同时显著减少了可训练参数数量。在 SuperGLUE 基准上高资源与低资源场景的实验结果证明了所提方法的有效性。
引用
@article{arxiv.2310.10094,
title = {Decomposed Prompt Tuning via Low-Rank Reparameterization},
author = {Yao Xiao and Lu Xu and Jiaxi Li and Wei Lu and Xiaoli Li},
journal= {arXiv preprint arXiv:2310.10094},
year = {2023}
}
备注
Accepted to Findings of EMNLP 2023