用于少样本模型自适应的相位内容融合扩散模型与方向分布一致性
计算机视觉与模式识别
2023-09-08 v1
摘要
用少量样本训练生成模型是一项挑战性任务。当前方法主要依赖少样本模型自适应来训练网络。然而，在数据极有限（少于 10）的场景下，生成网络易过拟合并遭受内容退化。为解决这些问题，我们提出一种新颖的相位内容融合少样本扩散模型，带有方向分布一致性损失，该模型在扩散模型不同训练阶段针对不同的学习目标。具体而言，我们设计了带相位内容融合的相位训练策略，在 较大时帮助模型学习内容与时序风格信息，在 较小时学习目标域局部细节，从而提升对内容、风格与局部细节的捕捉。此外，我们引入一种新颖的方向分布一致性损失，比已有方法更高效稳定地保证生成分布与源分布间的一致性，防止模型过拟合。最后，我们提出跨域结构引导策略，在域自适应过程中增强结构一致性。理论分析、定性与定量实验证明了我们的方法在少样本生成模型自适应任务上优于最先进方法。源代码见：https://github.com/sjtuplayer/few-shot-diffusion。
引用
@article{arxiv.2309.03729,
title = {Phasic Content Fusing Diffusion Model with Directional Distribution Consistency for Few-Shot Model Adaption},
author = {Teng Hu and Jiangning Zhang and Liang Liu and Ran Yi and Siqi Kou and Haokun Zhu and Xu Chen and Yabiao Wang and Chengjie Wang and Lizhuang Ma},
journal= {arXiv preprint arXiv:2309.03729},
year = {2023}
}
备注
Accepted by ICCV 2023