关于基于分数的生成模型保守性质的研究
机器学习
2023-06-06 v3 计算机视觉与模式识别
摘要
现有的基于分数的模型(SBMs)根据其参数化方法可分为约束 SBMs (CSBMs) 或非约束 SBMs (USBMs)。CSBMs 将概率密度函数建模为玻尔兹曼分布，并将其预测值设为某些标量值能量函数的负梯度。另一方面，USBMs 采用灵活的架构，能够直接估计分数而无需显式建模能量函数。本文中，我们证明 CSBMs 的架构约束可能限制其建模能力。此外，我们表明 USBMs 无法保持保守性质可能导致实际中性能下降。为解决上述问题，我们提出准保守基于分数的模型(QCSBMs)，以兼顾 CSBMs 与 USBMs 的优点。我们的理论推导表明，QCSBMs 的训练目标可通过利用 Hutchinson 迹估计器高效地整合进训练过程。此外，我们在 CIFAR-10、CIFAR-100、ImageNet 和 SVHN 数据集上的实验结果验证了 QCSBMs 的有效性。最后，我们用一个单层自编码器的例子论证了 QCSBMs 的优势。
引用
@article{arxiv.2209.12753,
title = {On Investigating the Conservative Property of Score-Based Generative Models},
author = {Chen-Hao Chao and Wei-Fang Sun and Bo-Wun Cheng and Chun-Yi Lee},
journal= {arXiv preprint arXiv:2209.12753},
year = {2023}
}
备注
ICML 2023