面向扩散模型的频谱感知参数高效微调
计算机视觉与模式识别
2024-06-03 v1 机器学习
摘要
以参数高效的方式适应大规模预训练生成模型正受到关注。传统的低秩适应等方法通过施加约束来实现参数效率，但对于需要高表示能力的任务可能并非最优。我们提出了一种新颖的生成模型频谱感知适应框架。我们的方法调整预训练权重的奇异值及其基向量。利用Kronecker积和高效的Stiefel优化器，我们实现了正交矩阵的参数高效适应。我们引入了频谱正交分解适应（SODA），它在计算效率和表示能力之间取得了平衡。在文本到图像扩散模型上的广泛评估证明了SODA的有效性，为现有的微调方法提供了一种频谱感知的替代方案。
引用
@article{arxiv.2405.21050,
title = {Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models},
author = {Xinxi Zhang and Song Wen and Ligong Han and Felix Juefei-Xu and Akash Srivastava and Junzhou Huang and Hao Wang and Molei Tao and Dimitris N. Metaxas},
journal= {arXiv preprint arXiv:2405.21050},
year = {2024}
}