从因果视角学习失真不变表示用于图像复原
计算机视觉与模式识别
2023-04-03 v2 多媒体
图像与视频处理
摘要
近年来，深度神经网络（DNNs）在图像复原方面取得了巨大进展。然而，一个关键局限是它们对具有不同度数或类型的真实世界退化的泛化能力不佳。本文首次从因果视角提出一种用于图像复原的新训练策略，以提升 DNNs 对未知退化的泛化能力。我们的方法称为失真不变表示学习（DIL），将每种失真类型与程度视为特定混杂因子，并通过消除每种退化的有害混杂效应来学习失真不变表示。我们通过因果中的后门准则（back-door criterion），从优化视角建模不同失真的干预，推导出 DIL。特别地，我们引入反事实失真增强以模拟作为混杂因子的虚拟失真类型与程度。然后，我们基于相应失真图像以虚拟模型更新实例化每种失真的干预，并从元学习视角将其消除。大量实验证明了我们的 DIL 在未见失真类型与程度上的泛化能力的有效性。我们的代码将发布于 https://github.com/lixinustc/Causal-IR-DIL。
引用
@article{arxiv.2303.06859,
title = {Learning Distortion Invariant Representation for Image Restoration from A Causality Perspective},
author = {Xin Li and Bingchen Li and Xin Jin and Cuiling Lan and Zhibo Chen},
journal= {arXiv preprint arXiv:2303.06859},
year = {2023}
}
备注
Accepted by CVPR2023