Semi-LLIE：基于 Mamba 的弱光图像增强与半监督对比学习
计算机视觉与模式识别
2024-09-26 v1
摘要
尽管近年来弱光图像增强技术取得了显著进展，但配对数据的稀缺已成为进一步发展的重大障碍。本工作提出了一种基于平均教师(mean-teacher)的半监督弱光增强（Semi-LLIE）框架，将无配对数据整合到模型训练中。平均教师技术是一种著名的半监督学习方法，已成功用于处理高层和底层视觉任务。然而，两个主要问题阻碍了朴素的平均教师方法在弱光图像增强中取得最佳性能。首先，像素级一致性损失不足以将真实的照度分布从教师模型转移到学生模型，这会导致增强图像中出现色偏。其次，前沿的图像增强方法由于倾向于忽略局部区域内结构化信息的建模，无法有效地与平均教师框架配合以恢复暗区细节信息。为了缓解上述问题，我们首先引入语义感知对比损失以忠实地传递照度分布，有助于增强图像具有自然色彩。然后，我们设计了基于 Mamba 的弱光图像增强主干网络，通过多尺度特征学习方案有效增强 Mamba 的局部区域像素关系表示能力，促进生成具有丰富纹理细节的图像。此外，我们基于大规模视觉-语言 Recognize Anything Model (RAM) 提出了新颖的感知损失，以帮助生成具有更丰富文本细节的增强图像。实验结果表明，我们的 Semi-LLIE 在定量和定性指标上均超越了现有方法。
引用
@article{arxiv.2409.16604,
title = {Semi-LLIE: Semi-supervised Contrastive Learning with Mamba-based Low-light Image Enhancement},
author = {Guanlin Li and Ke Zhang and Ting Wang and Ming Li and Bin Zhao and Xuelong Li},
journal= {arXiv preprint arXiv:2409.16604},
year = {2024}
}