DeepSPG：基于深度语义先验指导的低光图像增强框架，结合多模态学习探索语义知识
计算机视觉与模式识别
2025-04-29 v1 多媒体
摘要
长期以来，人们认为高层语义学习可以惠及各种下游计算机视觉任务。然而，在低光图像增强（LLIE）领域，现有方法在不考虑不同区域语义信息的情况下，学习低光域与正常光域之间的粗暴映射，尤其在那些因信息严重丢失而呈现极度黑暗的区域。为此，我们提出一种新的深度语义先验指导框架（DeepSPG），基于Retinex图像分解，用于LLIE，通过预训练的语义分割模型和多模态学习探索有益的语义知识。值得注意的是，我们纳入了图像级语义先验和文本级语义先验，从而构建一个针对LLIE的组合深度语义先验指导的多模态学习框架。具体而言，我们通过以下三种设计将语义知识引入以引导增强过程：一种利用预训练语义分割模型提取层次化语义特征的图像级语义先验指导；一种通过预训练视觉语言模型集成自然语言语义约束的文本级语义先验指导；以及一种多尺度语义感知结构，促进有效的语义特征融合。最终，我们的方法在五个基准数据集上均优于当前最先进的方法。实现细节和代码已公开于 https://github.com/Wenyuzhy/DeepSPG。
关键词
引用
@article{arxiv.2504.19127,
title = {DeepSPG: Exploring Deep Semantic Prior Guidance for Low-light Image Enhancement with Multimodal Learning},
author = {Jialang Lu and Huayu Zhao and Huiyu Zhai and Xingxing Yang and Shini Han},
journal= {arXiv preprint arXiv:2504.19127},
year = {2025}
}
备注
Accepted by ICMR 2025 Main track. Code is available at https://github.com/Wenyuzhy/DeepSPG