面向全合一图像复原的神经退化表示学习
计算机视觉与模式识别
2024-12-18 v2
摘要
现有方法在单一退化类型上已展现出有效性能。然而，在实际应用中退化往往未知，模型与退化之间的失配会导致严重的性能下降。本文提出一种处理多种退化的全合一图像复原网络。由于不同类型退化具有异质性，在单一网络中处理多种退化十分困难。为此，我们提出学习一种神经退化表示（NDR），以捕捉各类退化的潜在特征。所学 NDR 自适应地分解不同类型的退化，类似于表示基本退化成分的神经字典。随后，我们设计了退化查询模块与退化注入模块，基于 NDR 有效识别并利用特定退化，从而实现针对多种退化的全合一复原能力。此外，我们提出双向优化策略，通过交替优化退化与复原过程，有效驱动 NDR 学习退化表示。在代表性退化类型（包括噪声、雾、雨与下采样）上的综合实验证明了我们方法的有效性与泛化能力。
引用
@article{arxiv.2310.12848,
title = {Neural Degradation Representation Learning for All-In-One Image Restoration},
author = {Mingde Yao and Ruikang Xu and Yuanshen Guan and Jie Huang and Zhiwei Xiong},
journal= {arXiv preprint arXiv:2310.12848},
year = {2024}
}
备注
Code: https://github.com/mdyao/NDR-Restore