魔鬼在上采样中:深度图像先验去噪中简化的架构决策
图像与视频处理
2023-08-29 v2 计算机视觉与模式识别
摘要
深度图像先验(DIP)表明,某些网络架构天然偏向于平滑图像并抑制噪声,这一现象被称为谱偏置。图像去噪是该性质的直接应用。尽管 DIP 消除了对大型训练集的需求,但在去噪方面仍存在两个实际挑战:架构设计与噪声过拟合,且二者常相互交织。现有方法多因缺乏对架构选择如何对应图像的理解,而从庞大设计空间中手工设计或搜索架构。本研究从频率视角分析,证明未学习的上采样是 DIP 中去噪现象的主要驱动力。该发现进而引出为每幅图像估计合适架构而无需繁琐搜索的策略。大量实验表明,所估计的架构比当前方法去噪效果更好、纹理细节保留更优,且参数最多减少 95%。其欠参数化特性也使其对更高水平噪声尤为鲁棒。
引用
@article{arxiv.2304.11409,
title = {The Devil is in the Upsampling: Architectural Decisions Made Simpler for Denoising with Deep Image Prior},
author = {Yilin Liu and Jiang Li and Yunkui Pang and Dong Nie and Pew-thian Yap},
journal= {arXiv preprint arXiv:2304.11409},
year = {2023}
}
备注
Accepted to ICCV 2023