中文

BIGPrior:面向图像复原中解耦学习先验幻觉与数据保真度

计算机视觉与模式识别 2022-01-11 v3 机器学习

摘要

经典的图像复原算法使用多种先验,或隐式或显式。其先验为手工设计,相应权重靠启发式指定。因此,深度学习方法往往能产出更优的图像复原质量。然而,深度网络能够引发强烈且难以预测的幻觉。网络隐式地学习在忠实于观测数据的同时学习图像先验;而原始数据与幻觉数据在下游便无法分离。这限制了它们在图像复原中的广泛应用。此外,往往受害于退化模型过拟合的正是幻觉部分。我们提出一种具有解耦的网络先验幻觉与数据保真度项的方法。我们将我们的框架称为生成先验的贝叶斯集成(BIGPrior)。我们的方法根植于贝叶斯框架,并与经典复原方法紧密关联。事实上,它可视为一大类经典复原算法的推广。我们利用网络反演从生成网络中提取图像先验信息。我们表明,在图像上色、修复和去噪上,我们的框架持续改善了反演结果。我们的方法虽部分依赖于生成网络反演的质量,但仍可与最先进的监督式和任务特定复原方法相竞争。它还提供了一种附加度量,用以表征每个像素相对于数据保真度的先验依赖程度。

关键词

引用

@article{arxiv.2011.01406,
  title  = {BIGPrior: Towards Decoupling Learned Prior Hallucination and Data Fidelity in Image Restoration},
  author = {Majed El Helou and Sabine Süsstrunk},
  journal= {arXiv preprint arXiv:2011.01406},
  year   = {2022}
}

备注

IEEE TIP 2022. Code available on https://github.com/majedelhelou/BIGPrior. Main change relative to v1: added Table VI and computation times