超越夜间可见性：红外与可见光图像的自适应多尺度融合
计算机视觉与模式识别
2024-03-05 v1
摘要
除了低光照外，夜间图像还会因光效应（如眩光、泛光灯等）而退化。然而，现有的夜间可见性增强方法通常关注低光照区域，这忽略了甚至放大了光效应。为了解决这个问题，我们提出了一种结合红外与可见光图像的自适应多尺度融合网络（Adaptive Multi-scale Fusion network, AMFusion），该网络根据不同的光照区域设计融合规则。首先，我们分别融合来自红外和可见光图像的空间与语义特征，其中前者用于调整光照分布，后者用于提高检测精度。由此，我们获得了没有低光照和光效应的图像，从而提升了夜间目标检测的性能。其次，我们利用预训练主干网络提取的检测特征来指导语义特征的融合。据此，我们设计了一个检测引导语义融合模块（Detection-guided Semantic Fusion Module, DSFM），以弥合检测特征与语义特征之间的领域差距。第三，我们提出了一种新的光照损失，用以约束具有正常光强的融合图像。实验结果证明了 AMFusion 的优越性，具有更好的视觉质量和检测精度。源代码将在同行评审过程后发布。
引用
@article{arxiv.2403.01083,
title = {Beyond Night Visibility: Adaptive Multi-Scale Fusion of Infrared and Visible Images},
author = {Shufan Pei and Junhong Lin and Wenxi Liu and Tiesong Zhao and Chia-Wen Lin},
journal= {arXiv preprint arXiv:2403.01083},
year = {2024}
}