基于自蒸馏微调在有限数据下拓展扩散模型表现力
计算机视觉与模式识别
2023-11-03 v1
摘要
在有限数据集上训练扩散模型面临生成能力与表现力受限的挑战，导致在利用预训练扩散模型的各种下游任务（如域翻译与文本引导图像编辑）中结果不尽如人意。本文提出用于扩散模型微调的自蒸馏（SDFT），一种通过利用在大型源数据集上预训练的扩散模型的多样特征来应对这些挑战的方法。SDFT 从源模型蒸馏更通用的特征（形状、颜色等）与较少域特定的特征（纹理、精细细节等），从而在不扰乱目标数据集训练过程的前提下实现成功的知识迁移。所提方法不受模型具体架构约束，因此可普遍用于现有框架。实验结果表明，SDFT 增强了有限数据集下扩散模型的表现力，提升了各类下游任务的生成能力。
引用
@article{arxiv.2311.01018,
title = {Expanding Expressiveness of Diffusion Models with Limited Data via Self-Distillation based Fine-Tuning},
author = {Jiwan Hur and Jaehyun Choi and Gyojin Han and Dong-Jae Lee and Junmo Kim},
journal= {arXiv preprint arXiv:2311.01018},
year = {2023}
}
备注
WACV 2024