学习跳跃：用于生成建模的潜计数稀疏化与稠密化

学习去噪已成为设计自然图像最先进深度生成模型的主流范式。近期提出的扩散模型已充分研究如何将其用于连续实值数据与类别数据的分布建模。然而，本文发现其在建模某些其他类型数据（如计数与非负连续数据）时能力有限，这类数据常高度稀疏、偏斜、重尾和/或过度离散。为此，我们提出学习跳跃作为一种面向多类型数据生成建模的通用方法。它利用前向计数稀疏化过程构建学习目标以训练深度神经网络，并采用反向计数稠密化过程通过该网络迭代优化生成。我们论证了学习跳跃何时预期与学习去噪表现相当，何时预期更优。例如，当训练数据非负且表现出强稀疏性、偏斜性、重尾性和/或异质性时，推荐使用学习跳跃。