FeRA：基于频率-能量约束的扩散适应性微调路由
计算机视觉与模式识别
2025-11-25 v1
摘要
扩散模型在生成式建模中取得了显著的成功，但如何有效地将大规模预训练模型适配到新任务仍然具有挑战性。我们重新审视扩散模型在去噪过程中的重建行为，揭示了支配这一过程的底层频率能量机制。基于此观察，我们提出了 FeRA，这是一个基于频率的微调框架，通过与扩散的内在频率能量进程对齐来指导参数更新。FeRA 为有效的扩散适应性微调构建了一个综合的频率能量框架，包含三个协同组件：(i) 一种紧凑的频率能量指示器，用于刻画潜在频带能量分布；(ii) 一种柔软的频率路由器，用于自适应融合多个频率特定适配器专家；(iii) 一种频率能量一致性正则化，以稳定扩散优化并确保跨频段的连贯适应。路由在训练和推理过程中都有作用，推理时的路由由潜在频率能量动态决定。它无缝集成于基于适配器的调优方案中，并能在扩散主干模型和分辨率之间获得良好泛化。通过将适应与频率能量机制对齐，FeRA 提供了一个简单、稳定且兼容的范式，用于有效且稳健的扩散模型适应。
引用
@article{arxiv.2511.17979,
title = {FeRA: Frequency-Energy Constrained Routing for Effective Diffusion Adaptation Fine-Tuning},
author = {Bo Yin and Xiaobin Hu and Xingyu Zhou and Peng-Tao Jiang and Yue Liao and Junwei Zhu and Jiangning Zhang and Ying Tai and Chengjie Wang and Shuicheng Yan},
journal= {arXiv preprint arXiv:2511.17979},
year = {2025}
}