FINE: 面向可变尺寸扩散模型初始化的知识分解
计算机视觉与模式识别
2026-03-05 v2
摘要
扩散模型的训练计算密集，因此有效的预训练至关重要。然而，实际部署通常因不同的内存和计算约束而需要不同尺寸的模型，这在缺乏相应预训练版本时带来了挑战。为了解决这个问题，我们提出了FINE，一种新颖的预训练方法，其产生的模型可以灵活地将其知识分解为基本组件，称为学习基因，从而能够直接初始化各种尺寸的模型，并消除了重复预训练的需要。FINE不是优化传统的全参数模型，而是将每层的权重表示为U_*、Σ_*^{(l)}和V_*^T的乘积，其中U_*和V_*作为跨层共享的尺寸无关的学习基因，而Σ_*^{(l)}保持层特定。通过联合训练这些组件，FINE形成了一个可分解和可迁移的知识结构，允许通过学习基因的灵活重组实现高效初始化，仅需在有限数据上对Σ_*^{(l)}进行轻量级再训练。大量实验证明了FINE的效率，在初始化不同资源受限部署中的可变尺寸模型方面达到了最先进的性能。此外，由FINE初始化的模型能有效适应各种任务，展示了学习基因的任务无关通用性。
引用
@article{arxiv.2409.19289,
title = {FINE: Factorizing Knowledge for Initialization of Variable-sized Diffusion Models},
author = {Yucheng Xie and Fu Feng and Ruixiao Shi and Jianlu Shen and Jing Wang and Yong Rui and Xin Geng},
journal= {arXiv preprint arXiv:2409.19289},
year = {2026}
}