探索扩散模型在少样本微调中的腐蚀阶段及其贝叶斯神经网络的缓解方法
计算机视觉与模式识别
2026-03-10 v2 人工智能
机器学习
摘要
扩散模型（DM）的少样本微调是一项关键性进展，显著降低了训练成本，使个人化AI应用成为可能。然而，我们探讨了DM的训练动力学，观察到一种意外现象：在训练过程中，图像保真度首先提高，随后因出现噪声图案而意外恶化，最终在严重过拟合后恢复。我们将具有生成噪声图案的阶段称为腐蚀阶段。为理解此腐蚀阶段，本文首先对一Shot微调情景进行理论建模，然后将此建模推广至更一般的情况。通过该建模，我们识别出导致腐蚀阶段的根本原因：少样本微调固有的收窄学习分布。为解决此问题，我们在DM上应用贝叶斯神经网络（BNN），利用变分推断隐式扩宽学习分布。我们指出，BNN的学习目标可自然地视为扩散损失的期望，进而作为对预训练DM的正则化。该方法与当前DM的少样本微调方法高度兼容，且不引入额外的推理成本。实验结果表明，我们的方法显著缓解了腐蚀现象，提高了生成图像在保真度、质量和多样性方面的表现，适用于对象驱动和主题驱动的生成任务。代码已公开发布于 https://github.com/Nicholas0228/BNN-Finetuning-DMs。
引用
@article{arxiv.2405.19931,
title = {Exploring Diffusion Models' Corruption Stage in Few-Shot Fine-tuning and Mitigating with Bayesian Neural Networks},
author = {Xiaoyu Wu and Jiaru Zhang and Yang Hua and Bohan Lyu and Hao Wang and Tao Song and Haibing Guan},
journal= {arXiv preprint arXiv:2405.19931},
year = {2026}
}
备注
Accepted by KDD' 26