面向智能交通系统的双模态先验语义引导红外与可见光图像融合
计算机视觉与模式识别
2024-03-26 v1
摘要
红外与可见光图像融合在智能交通系统中扮演着重要角色。早期的工作主要集中在提升融合结果的视觉吸引力，而最近仅有少数几种方法尝试将高级视觉任务与 IVF 相结合。然而，它们优先设计级联结构以寻求统一适用的特征并适应不同的任务。因此，它们往往倾向于重建原始像素，而未考虑语义特征的重要性。因此，我们提出了一种基于双模态策略的新颖的先验语义引导图像融合方法，以提升 IVF 在 ITS 中的性能。具体而言，为了探索每种模态独立的显著语义，我们首先设计了两个并行的语义分割分支，并带有精细特征自适应调制机制。RFaM 能够感知在每个语义分割分支中语义区分度足够高的特征。然后，基于这两个分支进行了两个先导实验，以捕获两幅图像的显著先验语义，随后将其应用于指导语义分割分支和融合分支集成中的融合任务。此外，为了聚合高级语义和出色的视觉效果，我们进一步研究了先验语义的频率响应，并提出了一种多级表示自适应融合模块，以显式地整合低频先验语义与高频细节。在两个公开数据集上的大量实验表明，无论是在视觉吸引力还是高级语义方面，我们的方法都优于最先进的图像融合方法。
引用
@article{arxiv.2403.16227,
title = {Dual-modal Prior Semantic Guided Infrared and Visible Image Fusion for Intelligent Transportation System},
author = {Jing Li and Lu Bai and Bin Yang and Chang Li and Lingfei Ma and Lixin Cui and Edwin R. Hancock},
journal= {arXiv preprint arXiv:2403.16227},
year = {2024}
}