学习图像的多尺度局部条件概率模型
计算机视觉与模式识别
2023-03-07 v1 机器学习
摘要
深度神经网络可以学习强大的图像先验概率模型，近期基于分数的扩散方法所生成的高质量图像即为佐证。但这些网络如何捕获复杂的全局统计结构且显然未受维数灾难影响，仍是一个谜。为此，我们将扩散方法纳入多尺度分解，通过假设小波系数以粗尺度系数为条件的平稳局部马尔可夫模型来降维。我们使用具有局部感受野的卷积神经网络（CNNs）实例化该模型，其同时强制平稳性与马尔可夫性质。全局结构则通过使用感受野覆盖整个（但小型）低通图像的CNN捕获。我们在人脸图像数据集上测试该模型，此类图像高度非平稳且包含大尺度几何结构。值得注意的是，去噪、超分辨率与图像合成结果均表明，这些结构可用远小于像素域马尔可夫模型所需的条件邻域捕获。我们的结果显示，大型复杂图像的分数估计可归约为跨尺度的低维马尔可夫条件模型，从而缓解维数灾难。
引用
@article{arxiv.2303.02984,
title = {Learning multi-scale local conditional probability models of images},
author = {Zahra Kadkhodaie and Florentin Guth and Stéphane Mallat and Eero P Simoncelli},
journal= {arXiv preprint arXiv:2303.02984},
year = {2023}
}
备注
16 pages, 8 figures