迈向具有频率正则化的架构无关未训练网络先验图像重建
图像与视频处理
2024-07-22 v3 计算机视觉与模式识别
摘要
受深度图像先验启发的未训练网络在无需训练集的情况下,从噪声或部分测量中恢复高质量图像方面展现出了令人瞩目的能力。其成功被广泛归因于合适网络架构的谱偏置所导致的隐式正则化。然而,此类基于网络的先验的应用通常伴随着多余的结构决策、过拟合风险以及漫长的优化过程,这些都阻碍了其实用性。为了应对这些挑战,我们提出了高效的架构无关技术来直接调制网络先验的谱偏置:1) 带宽受限的输入,2) 带宽可控的上采样器,以及 3) Lipschitz 正则化卷积层。我们表明,仅需几行代码,我们就能减少欠佳架构中的过拟合,并弥合与高性能架构之间的性能差距,从而最大限度地减少对广泛架构调优的需求。这使得采用更紧凑的模型即可实现与大型模型相似或更优的性能,同时减少运行时间。在类图像修复的 MRI 重建任务上的演示表明,我们的结果首次证明,未训练网络先验的架构偏置、过拟合和运行时问题可以在不修改架构的情况下同时得到解决。我们的代码已公开发布。
引用
@article{arxiv.2312.09988,
title = {Towards Architecture-Agnostic Untrained Network Priors for Image Reconstruction with Frequency Regularization},
author = {Yilin Liu and Yunkui Pang and Jiang Li and Yong Chen and Pew-Thian Yap},
journal= {arXiv preprint arXiv:2312.09988},
year = {2024}
}
备注
Accepted at ECCV 2024