通过图像去雾检视低层视觉模型的泛化问题
计算机视觉与模式识别
2026-02-25 v3
摘要
低层视觉模型对未知退化模式的泛化仍是根本性挑战。本文以图像去雾为主要案例研究 due to其 well-defined and decoupled structure，旨在探究此类失败的 underlying mechanism。通过系统实验，我们揭示了泛化问题并非主要由有限的网络容量导致，而是由图像内容与退化模式之间相对复杂性驱动的“捷径学习”现象所致。我们发现当背景内容过于复杂时，网络倾向于过拟合较简单的退化特征以最小化训练损失，从而无法学习 underlying image distribution。为此，我们提出了两种原则策略：（1）平衡训练数据的复杂性（背景 vs. 退化），以将网络注意力重新引向内容重建；（2）利用来自预训练生成模型的强内容先验，物理性地将网络约束到高质量图像流形上。针对图像去雾、去噪和去模糊进行大量实验验证了我们的理论见解。我们的工作提供了一种解释驱动的视角和原则化的方法，用于提高低层视觉模型的鲁棒性和泛化能力。
引用
@article{arxiv.2502.12600,
title = {Revisiting the Generalization Problem of Low-level Vision Models Through the Lens of Image Deraining},
author = {Jinfan Hu and Zhiyuan You and Jinjin Gu and Kaiwen Zhu and Tianfan Xue and Chao Dong},
journal= {arXiv preprint arXiv:2502.12600},
year = {2026}
}
备注
arXiv admin note: substantial text overlap with arXiv:2305.15134