面向统一图像复原的分解归因协同学习
计算机视觉与模式识别
2024-03-13 v2 图像与视频处理
摘要
在单一模型中学习修复多种图像退化对于实际应用十分有益。然而,现有工作通常将每种退化独立看待,而其相互关系在协同学习中较少被利用。为此,我们通过奇异值分解的视角重新审视多种退化,观察到分解得到的奇异向量与奇异值天然承载了不同类型的退化信息,从而将各类复原任务划分为两组,即奇异向量主导型与奇异值主导型。上述分析相较于以往任务级独立学习,提供了一种更为统一的视角来归因多种退化。对退化奇异向量与奇异值的专门优化内在地利用了不同复原任务间的潜在关联,这归功于分解归因协同学习(Decomposition Ascribed Synergistic Learning, DASL)。具体而言,DASL 包含两个高效算子,即奇异向量算子(Singular VEctor Operator, SVEO)与奇异值算子(Singular VAlue Operator, SVAO),以助力分解式优化,并可轻量地集成至现有图像复原骨干网络。此外,还设计了协调的分解损失作为辅助。在混合五项图像复原任务上的大量实验证明了我们方法的有效性。
引用
@article{arxiv.2308.00759,
title = {Decomposition Ascribed Synergistic Learning for Unified Image Restoration},
author = {Jinghao Zhang and Feng Zhao},
journal= {arXiv preprint arXiv:2308.00759},
year = {2024}
}
备注
16 pages, 17 figures