SSH：稀疏谱适应通过离散哈特ley变换
计算机视觉与模式识别
2025-02-11 v1 机器学习
摘要
低秩适应（LoRA）在微调大型基础模型（LLM）时，已被证明有效，可减少可训练参数数量。然而，在扩展到更大模型或解决更复杂任务适应时，仍面临计算和内存挑战。本文引入稀疏谱适应通过离散哈特ley变换（SSH），一种新方法，可显著减少可训练参数数量，同时提升模型性能。它在离散哈特ley变换（DHT）指导下，从所有层中选择最具信息性的谱分量。轻量级的逆DHT然后将谱投射回空间域以进行更新。跨越单模态任务（如语言理解和生成）和多模态任务（如视频-文本理解）的广泛实验表明，SSH在实现显著计算成本和内存需求降低的同时，优于现有的各种参数高效微调（PEFT）方法。
引用
@article{arxiv.2502.05539,
title = {SSH: Sparse Spectrum Adaptation via Discrete Hartley Transformation},
author = {Yixian Shen and Qi Bi and Jia-Hong Huang and Hongyi Zhu and Andy D. Pimentel and Anuj Pathania},
journal= {arXiv preprint arXiv:2502.05539},
year = {2025}
}