中文

从增强到理解:通过语义一致无监督微调构建低光视觉的通用桥梁

计算机视觉与模式识别 2025-07-14 v1

摘要

低层增强和高层视觉理解在低光视觉领域传统上被分别对待。低光增强旨在提高下游任务的图像质量,但现有方法依赖物理或几何先验,限制了其泛化能力。评估主要关注视觉质量,而非下游性能。低光视觉理解受限于标注数据稀缺,主要采用任务特定的域适应方法,缺乏可扩展性。为此,我们构建了一个低光增强与低光理解之间的通用桥梁,称为广义增强理解 (Generalized Enhancement For Understanding, GEFU)。该范式同时提升了泛化性和可扩展性。为解决低光退化的多种原因, 我们利用预训练的生成式扩散模型对图像进行优化,实现零样本泛化性能。基于此,我们提出语义一致无监督微调 (Semantically Consistent Unsupervised Fine-tuning, SCUF)。具体而言,为克服文本提示的局限性,我们引入照度感知图像提示以显式引导图像生成,并提出循环注意力适配器以最大化其语义潜能。为缓解无监督训练中的语义退化,我们提出 captions 与反射率一致性,以学习高层语义和图像级空间语义。大量实验表明,我们的方法在传统图像质量和 GEFU 任务(包括分类、检测和语义分割)上均优于当前最先进的方法。

关键词

引用

@article{arxiv.2507.08380,
  title  = {From Enhancement to Understanding: Build a Generalized Bridge for Low-light Vision via Semantically Consistent Unsupervised Fine-tuning},
  author = {Sen Wang and Shao Zeng and Tianjun Gu and Zhizhong Zhang and Ruixin Zhang and Shouhong Ding and Jingyun Zhang and Jun Wang and Xin Tan and Yuan Xie and Lizhuang Ma},
  journal= {arXiv preprint arXiv:2507.08380},
  year   = {2025}
}

备注

Accepted by ICCV 2025