通过双重得分匹配学习归一化图像密度
机器学习
2026-01-16 v3
摘要
从数据中学习概率模型是许多机器学习工作的核心，但因维数灾难而极为困难。我们提出了一种学习归一化能量（对数概率）模型的新框架，其灵感来源于依赖网络优化来估计得分的扩散生成模型。我们修改了一个得分网络架构以计算能量，同时保留其归纳偏置。该能量网络相对于其输入图像的梯度是所学密度的得分，可以通过去噪目标进行优化。重要的是，相对于噪声水平的梯度提供了一个额外的得分，可以通过一种新颖的次要目标进行优化，确保跨噪声水平的一致性和归一化能量。我们使用这种双重得分匹配目标在 ImageNet64 数据集上训练了一个能量网络，并获得了与最先进水平相当的交叉熵（负对数似然）值。我们进一步通过表明我们的能量模型具有强泛化能力来验证我们的方法：在非重叠数据子集上训练的两个网络所估计的对数概率几乎相同。最后，我们证明了图像概率和局部邻域的维度根据图像内容存在显著差异，这与浓度测量或低维流形支撑等传统假设形成对比。
引用
@article{arxiv.2506.05310,
title = {Learning normalized image densities via dual score matching},
author = {Florentin Guth and Zahra Kadkhodaie and Eero P Simoncelli},
journal= {arXiv preprint arXiv:2506.05310},
year = {2026}
}