利用自注意力机制实现输入依赖的软提示生成
计算与语言
2025-06-09 v1
摘要
大型语言模型在特定领域任务上的性能需要进行微调，但这种做法计算成本高昂且技术难度大。本文聚焦于参数高效微调中的软提示技术，这是一种具有前景的通过学习少量参数来适应下游任务的方法。我们提出了一种 novel 的输入依赖软提示技术，称为ID-SPAM（Input Dependent Soft Prompting with self-Attention Mechanism），该技术根据输入标记生成软提示，并对不同标记赋予不同重要性。该方法简单高效，保持可训练参数数量较少。我们在各种任务上与最新技术进行比较，展示了所提出方法的优势，并显示出改进的零样本领域迁移能力。
引用
@article{arxiv.2506.05629,
title = {Leveraging Self-Attention for Input-Dependent Soft Prompting in LLMs},
author = {Ananth Muppidi and Abhilash Nandy and Sambaran Bandyopadhyay},
journal= {arXiv preprint arXiv:2506.05629},
year = {2025}
}
备注
Accepted in ACL 2025 (Main) Conference