基于多空间投影与提示融合的高效提示调优
计算与语言
2024-12-12 v3 人工智能
机器学习
摘要
提示调优是一种通过不重新训练大规模参数来微调预训练语言模型的 promising 方法。它通过在输入文本附加软提示，使下游任务仅需学习提示标记的嵌入即可获得良好适应。然而，现有方法仍面临两个挑战：(i) 在准确率和效率之间难以平衡。较长（较短）的软提示通常导致更好（更差）的准确率，但代价是更多（更少）的训练时间。(ii) 在适应不同下游任务时，性能可能并不一致。我们认为，这归因于相同的嵌入空间却负责不同的下游任务要求。为解决这些问题，我们提出了一种高效提示调优方法（EPT），通过多空间投影和提示融合实现。具体而言，它将给定的软提示分解为较短的提示和两个低秩矩阵，从而显著减少训练时间。通过利用低秩矩阵和短提示作为额外知识源，丰富原始短提示的语义，还提高了准确率。此外，我们将软提示投射到多个子空间以提高性能一致性，并通过门控网络自适应学习不同空间的组合权重。在13个自然语言处理下游任务上的实验表明，我们的方法以最高达12.9%的相对提升显著且一致地超越了11个对比方法，训练时间降低了14%。
引用
@article{arxiv.2405.11464,
title = {Efficient Prompt Tuning by Multi-Space Projection and Prompt Fusion},
author = {Pengxiang Lan and Enneng Yang and Yuting Liu and Guibing Guo and Jianzhe Zhao and Xingwei Wang},
journal= {arXiv preprint arXiv:2405.11464},
year = {2024}
}