梯度即条件:为全能图像修复重新思考HOG
计算机视觉与模式识别
2025-12-23 v3
摘要
全能图像修复(AIR)旨在通过利用信息丰富的退化条件来引导修复过程,以统一模型解决多样化的退化。然而,现有方法常依赖隐式学习的先验条件,这些先验条件可能 entangled 特征表示,阻碍在复杂或未见情景下的性能。直方图倾斜梯度(HOG)作为经典的梯度表示,我们观察到它在多样化退化下具有强大的判别能力,成为AIR的强大且可解释的先验。基于此洞见,我们提出HOGformer,一个基于Transformer的模型,集成可学习的HOG特征以实现退化感知修复。HOGformer的核心是Dynamic HOG-aware Self-Attention(DHOGSA)机制,适应地在由HOG描述符编码的退化特定线索条件下建模长程空间依赖性。为进一步适应AIR中退化的异构性,我们提出Dynamic Interaction Feed-Forward(DIFF)模块,以促进通道-空间相互作用,实现在多样化退化下的稳健特征转换。此外,我们提出HOG loss以显式增强结构保真度和边缘锐度。在包括恶劣天气和自然退化的多个基准上进行的广泛实验表明,HOGformer实现了最先进的性能,并在复杂真实场景中表现出良好的泛化能力。代码可在 https://github.com/Fire-friend/HOGformer 提供。
引用
@article{arxiv.2504.09377,
title = {Gradient as Conditions: Rethinking HOG for All-in-one Image Restoration},
author = {Jiawei Wu and Zhifei Yang and Zhe Wang and Zhi Jin},
journal= {arXiv preprint arXiv:2504.09377},
year = {2025}
}
备注
AAAI2026