用混合深度图像先验求解逆问题：抑制过拟合的挑战
图像与视频处理
2023-02-20 v3 计算机视觉与模式识别
摘要
我们主要分析并解决深度图像先验（DIP）的过拟合问题。深度图像先验可求解超分辨率、图像修复与去噪等逆问题。DIP 相较于其他深度学习方法的优势在于其无需访问大规模数据集。然而，由于神经网络参数众多且数据含噪，随着迭代次数增加，DIP 会过拟合图像中的噪声。在本文中，我们使用混合深度图像先验以避免过拟合。混合先验将 DIP 与显式先验（如全变分）或隐式先验（如去噪算法）相结合。我们使用交替方向乘子法（ADMM）来引入新先验，并尝试不同形式的 ADMM 以避免由 ADMM 步骤内循环引起的额外计算。我们还研究了梯度下降动力学与过拟合现象之间的关系。数值结果表明混合先验在防止过拟合方面起着重要作用。此外，我们尝试沿某些方向拟合图像，发现当噪声水平较大时该方法可减少过拟合；当噪声水平较小时，其并未显著缓解过拟合问题。
引用
@article{arxiv.2011.01748,
title = {Solving Inverse Problems with Hybrid Deep Image Priors: the challenge of preventing overfitting},
author = {Zhaodong Sun and Thomas Sanchez and Fabian Latorre and Volkan Cevher},
journal= {arXiv preprint arXiv:2011.01748},
year = {2023}
}
备注
Part of the work has been published on ICASSP 2021 with the paper title "a plug-and-play deep image prior"