基于张量分解的转换型低秩适配及其在文本到图像模型中的应用
机器学习
2025-08-01 v2
摘要
参数高效微调（PEFT）是文本到图像模型的流行技术，已有许多应用。尽管存在各种 PEFT 方法，但低秩适应（LoRA）及其变体因其有效性而受到广泛关注，使用户能够在有限的计算资源下进行模型微调。然而，低秩假设与所需微调权重之间的近似差距，阻碍了同时实现超参数效率和更好性能。为了缩小这一差距并进一步提升 LoRA 的性能，本文提出了一种新的 PEFT 方法，将两类适应（即转换适应和残差适应）相结合。具体而言，我们首先对预训练权重应用一个全秩且稠密的转换。这一可学习的转换旨在将预训练权重尽可能接近于所需权重，从而减小残差权重的秩。然后，残差部分可以更有效地通过更紧凑且参数更高效的结构来近似，缩小近似误差。为实现实际中的超参数效率，我们为转换和残差适应设计了高度灵活且高效的张量分解。此外，流行的 PEFT 方法如 DoRA 可归结为此转换加残差适应方案。在主体驱动和可控生成上对 Stable Diffusion 模型进行微调实验。结果表明，该方法在参数效率和性能方面优于 LoRA 和多个基线方法。
引用
@article{arxiv.2501.08727,
title = {Transformed Low-rank Adaptation via Tensor Decomposition and Its Applications to Text-to-image Models},
author = {Zerui Tao and Yuhta Takida and Naoki Murata and Qibin Zhao and Yuki Mitsufuji},
journal= {arXiv preprint arXiv:2501.08727},
year = {2025}
}
备注
ICCV 2025