Uni-DAD：统一的扩散模型蒸馏与适应，用于少步骤少样本图像生成
计算机视觉与模式识别
2026-03-26 v3 人工智能
摘要
扩散模型（DM）能够生成高质量图像，但在适应新领域时采样成本较高。经过蒸馏的模型虽快，但通常局限于教师所属的域内。因此，面向新域的快速高质量生成依赖于两阶段流程：适应后再蒸馏或蒸馏后再适应。然而，这两种方法都增加了设计复杂度，常导致质量或多样性下降。我们提出Uni-DAD，一个单阶段流程，统一了扩散模型的蒸馏与适应。它耦合两种训练信号：（i）双域分布匹配蒸馏（DMD）目标，引导学生接近源教师和目标教师的分布；（ii）多头生成对抗网络（GAN）损失，鼓励目标真实性在多个特征尺度上。源域蒸馏保留了多样化的源知识，而多头GAN有助于稳定训练，尤其在少样本情境下可减少过拟合。目标教师的引入促进了对更结构上远离的域的适应。我们在两个全面基准上评估了Uni-DAD：少样本图像生成（FSIG）和受众驱动的个人化（SDP），使用扩散模型作为基础。它在生成质量和多样性方面，常常优于两阶段流程，甚至在不足4个采样步骤时也能达到或超越当前最先进方法。代码：https://github.com/yaramohamadi/uni-DAD。
引用
@article{arxiv.2511.18281,
title = {Uni-DAD: Unified Distillation and Adaptation of Diffusion Models for Few-step Few-shot Image Generation},
author = {Yara Bahram and Mélodie Desbos and Mohammadhadi Shateri and Eric Granger},
journal= {arXiv preprint arXiv:2511.18281},
year = {2026}
}
备注
Accepted at IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026