如何为图像构造能量？去噪自编码器可作为基于能量的模型
计算机视觉与模式识别
2023-03-08 v1 机器学习
摘要
基于能量的模型（EBM）将数据的非归一化对数概率参数化，但缺乏关于如何构造“能量”的指导。本文提出一种去噪-EBM（Denoising-EBM），将图像能量分解为“语义能量”与“纹理能量”。我们在 DAE 的潜空间中定义“语义能量”以建模高层表示，并将去噪的像素级重建误差定义为“纹理能量”。受基于分数（score-based）模型的启发，我们的模型利用多尺度含噪样本进行最大似然训练，并输出向量而非标量，以在优化中探索更大的函数集合。训练后，首先通过“语义能量”以快速 MCMC 合成语义，随后基于“纹理能量”对语义图像进行像素级细化以生成完美样本。最终，我们的模型在图像生成上优于大多数 EBM。我们还证明去噪-EBM 在分布外检测中于 EBM 里具有顶尖表现。
引用
@article{arxiv.2303.03887,
title = {How to Construct Energy for Images? Denoising Autoencoder Can Be Energy Based Model},
author = {Weili Zeng},
journal= {arXiv preprint arXiv:2303.03887},
year = {2023}
}