并非所有层都是等价的：自适应 LoRA 秩用于个性化图像生成
计算机视觉与模式识别
2026-03-24 v1 人工智能
机器学习
摘要
低秩适应(LoRA)是从预训练扩散模型生成个性化图像的事实标准微调策略。选择合适的秩非常关键，因为它在性能和内存消耗之间进行权衡，但今天的决策往往依赖于社区共识，无论个性化主题的复杂度如何。原因显而易见：为每个 LoRA 组件选择合适秩的成本是组合爆炸式的，因此我们采用诸如固定所有组件相同秩之类的实用短抄。本文迈出了克服这一挑战的第一步。灵感来自学习神经网络自适应宽度的变分方法，我们让每个层的秩在针对主题进行微调时自由适应。通过对秩位置的重要性排序，有效地鼓励在严格需要时创建更高的秩。定性和定量地，我们的方法 LoRA 在 29 个主题上实现了在 DINO、CLIP-I 和 CLIP-T 之间的竞争性权衡，同时所需内存和秩均远低于高秩 LoRA 版本。代码: https://github.com/donaldssh/NotAllLayersAreCreatedEqual。
引用
@article{arxiv.2603.21884,
title = {Not All Layers Are Created Equal: Adaptive LoRA Ranks for Personalized Image Generation},
author = {Donald Shenaj and Federico Errica and Antonio Carta},
journal= {arXiv preprint arXiv:2603.21884},
year = {2026}
}
备注
Project page: https://donaldssh.github.io/NotAllLayersAreCreatedEqual/