State-offset Tuning：面向状态空间模型的状态基参数高效微调
机器学习
2025-06-10 v2
摘要
状态空间模型（SSMs）已成为Transformer的高效替代方案，缓解了其二次计算成本问题。然而，将参数高效微调（PEFT）方法应用于SSMs的研究仍未被充分探索。特别是，Prompt Tuning和Prefix-Tuning等基于提示的方法在Transformer中被广泛使用，但在SSMs上表现不佳。为解决这一问题，我们提出基于状态的方法作为基于提示的方法的优越替代方案。这一新方法族自然源于SSMs的架构特性。基于状态的方法直接调整与状态相关的特征，而非依赖外部提示。此外，我们引入了一种新颖的基于状态的PEFT方法：State-offset Tuning。在每个时间步，我们的方法直接影响当前步的状态，从而实现更有效的适应。通过在多样化数据集上的大量实验，我们证明了该方法的有效性。代码可在 https://github.com/furiosa-ai/ssm-state-tuning 获取。
引用
@article{arxiv.2503.03499,
title = {State-offset Tuning: State-based Parameter-Efficient Fine-Tuning for State Space Models},
author = {Wonjun Kang and Kevin Galim and Yuchen Zeng and Minjae Lee and Hyung Il Koo and Nam Ik Cho},
journal= {arXiv preprint arXiv:2503.03499},
year = {2025}
}
备注
Accepted at ACL 2025 Main