扩散概率模型中均值不精确时的最优协方差估计
机器学习
2022-06-16 v1
摘要
扩散概率模型（DPMs）是一类强大的深度生成模型（DGMs）。尽管取得成功，其在全时间步上的迭代生成过程远不如 GAN 等其他 DGMs 高效。因此，在部分时间步子集上的生成性能至关重要，而这极大受 DPMs 中协方差设计的影响。在本工作中，我们考虑对角与全协方差以提升 DPMs 的表达能力。我们推导了此类协方差的最优结果，并在 DPMs 均值不精确时对其进行修正。最优与修正后的协方差均可分解为噪声函数的条件期望项。基于此，我们提出通过学习这些条件期望来估计均值不精确时的最优协方差及其修正项。我们的方法可应用于具有离散与连续时间步的 DPMs。为实现计算效率，我们在实现中采用对角协方差。为高效实际实现，我们采用参数共享方案与两阶段训练过程。实证上，我们的方法在似然结果上优于多种协方差设计，并尤其在少量时间步下提升了样本质量。
引用
@article{arxiv.2206.07309,
title = {Estimating the Optimal Covariance with Imperfect Mean in Diffusion Probabilistic Models},
author = {Fan Bao and Chongxuan Li and Jiacheng Sun and Jun Zhu and Bo Zhang},
journal= {arXiv preprint arXiv:2206.07309},
year = {2022}
}
备注
Accepted in ICML 2022