基于生成感知先验的低光图像增强
计算机视觉与模式识别
2024-12-31 v1
摘要
尽管在提升可见性、恢复纹理细节和抑制噪声方面取得了显著进展，但将当前的低光图像增强（LLIE）方法应用于真实场景仍面临挑战，主要由于所遇到的多样化照明条件。此外，寻求生成在视觉上真实且吸引的增强效果仍是未被充分探索的领域。为此，我们提出一种新型 LLIE 框架，利用来源于视觉语言模型（VLM）的生成感知先验（GPP-LLIE）进行引导。具体而言，我们首先提出一个管道，用于引导 VLM 对 LL 图像的多个视觉属性进行评估，并量化评估结果，以输出全局与局部感知先验。随后，为将这些生成感知先验融入 LLIE，我们在扩散过程中引入基于转换器的主干网络，开发新的层归一化方法（GPP-LN）以及由全局与局部感知先验引导的注意力机制（LPP-Attn）。广泛的实验表明，该模型在配对低光数据集上优于当前 SOTA 方法，并在真实世界数据上表现出卓越的泛化能力。该代码已发布于 \url{https://github.com/LowLevelAI/GPP-LLIE}。
关键词
引用
@article{arxiv.2412.20916,
title = {Low-Light Image Enhancement via Generative Perceptual Priors},
author = {Han Zhou and Wei Dong and Xiaohong Liu and Yulun Zhang and Guangtao Zhai and Jun Chen},
journal= {arXiv preprint arXiv:2412.20916},
year = {2024}
}
备注
Accepted by AAAI 2025