基于视觉语言模型的图像恢复 adverse 天气条件退化建模
计算机视觉与模式识别
2025-11-24 v1
摘要
在雨、雾、雪或其混合状态下的可靠视觉感知，对自动驾驶和户外机器人而言具有重要需求，却面临挑战。本文提出一种统一的Memory-Enhanced Visual-Language Recovery（记忆增强视觉语言恢复）MVLR 模型，用于恢复不同退化程度、各种天气条件下的图像。MVLR 将轻量级编码器-解码器主干网络与视觉语言模型（VLM）及隐式记忆库（IMB）耦合。VLM 执行链式推理以编码天气退化先验，IMB 存储退化模式的连续潜在表示。VLM 生成的先验查询 IMB 以检索细粒度退化原型。这些原型通过动态跨注意力机制自适应融合多尺度视觉特征，提升恢复精度，同时保持计算效率。广泛的实验在四个严重天气基准数据集上表明，MVLR 在峰值信噪比（PSNR）和结构相似性指数（SSIM）等指标上优于单分支和 Mixture-of-Experts 基线。这些结果表明，MVLR 在模型紧凑性与表达性之间提供了一种实用的平衡，适用于多样化户外环境下的实时部署。
引用
@article{arxiv.2511.16998,
title = {VLM-Augmented Degradation Modeling for Image Restoration Under Adverse Weather Conditions},
author = {Qianyi Shao and Yuanfan Zhang and Renxiang Xiao and Liang Hu},
journal= {arXiv preprint arXiv:2511.16998},
year = {2025}
}