为何条件生成模型优于无条件模型？
机器学习
2022-12-02 v1
摘要
大量经验证据表明，条件生成模型通过利用数据标签更易训练且表现优于无条件模型。基于分数的扩散模型亦然。本文形式化分析该现象，并指出条件学习的关键在于对数据的恰当划分。受分析启发，我们提出自条件扩散模型(SCDM)，其以自监督方式预训练模型提取的特征上经k-means算法聚类所得的索引为条件进行训练。SCDM在多个数据集上显著改进无条件模型，并在无标签的ImageNet 64x64上取得破纪录的FID 3.94。此外，SCDM在CIFAR10上取得了略优于相应条件模型的FID。
引用
@article{arxiv.2212.00362,
title = {Why Are Conditional Generative Models Better Than Unconditional Ones?},
author = {Fan Bao and Chongxuan Li and Jiacheng Sun and Jun Zhu},
journal= {arXiv preprint arXiv:2212.00362},
year = {2022}
}