PIP：位置编码图像先验
计算机视觉与模式识别
2024-03-05 v3 人工智能
摘要
在深度图像先验（DIP）中，卷积神经网络（CNN）被拟合以将潜空间映射到退化（如含噪）图像，但在此过程中学习重建干净图像。该现象归因于 CNN 的内部图像先验。我们重访 DIP 框架，从神经隐式表示视角审视之。受此视角启发，我们将随机或学习的潜变量替换为傅里叶特征（位置编码）。我们表明，得益于傅里叶特征的性质，可用简单的像素级 MLP 替代卷积层。我们命名此方案为“位置编码图像先验”（PIP），并展示其在多种图像重建任务上表现与 DIP 极为相似，且所需参数量远少。此外，我们证明 PIP 可轻松扩展至视频，而 3D-DIP 在此情形下表现不佳且不稳定。所有任务（含视频）的代码与额外示例见于项目页 https://nimrodshabtay.github.io/PIP/
引用
@article{arxiv.2211.14298,
title = {PIP: Positional-encoding Image Prior},
author = {Nimrod Shabtay and Eli Schwartz and Raja Giryes},
journal= {arXiv preprint arXiv:2211.14298},
year = {2024}
}