谱适配器：在谱空间中的精调
机器学习
2024-11-05 v2 人工智能
摘要
最近的开发在针对预训练深度神经网络的参数高效精调（PEFT）方法方面引起了广泛关注。本文研究通过将预训练权矩阵的谱信息纳入精调程序来增强当前 PEFT 方法。我们检验了两种谱适应机制，即加性调谐和正交旋转前 n 个奇异向量，两者均通过对预训练权重进行奇异值分解（SVD）后对顶级谱空间进行精调来实现。我们对谱精调提供了理论分析，表明我们的方法在固定可训练参数预算下提高了低秩适配器的秩容量。我们通过大量实验表明，提出的精调模型实现了更好的参数效率和调谐性能，以及对多适配器融合的益处。
引用
@article{arxiv.2405.13952,
title = {Spectral Adapter: Fine-Tuning in Spectral Space},
author = {Fangzhao Zhang and Mert Pilanci},
journal= {arXiv preprint arXiv:2405.13952},
year = {2024}
}