一种用于红外-可见光图像融合与显著性目标检测联合的交互增强范式
计算机视觉与模式识别
2023-05-18 v1
摘要
本研究聚焦于野外隐藏目标的发现与定位，服务于无人系统。经实证分析，红外与可见光图像融合（IVIF）使难以发现的物体显现，而多模态显著性目标检测（SOD）可精确勾勒图像中物体的空间位置。二者均致力于从不同源图像中寻求互补线索，这促使我们首次通过一种称为 IRFS 的交互增强多任务范式，探索红外与可见光图像上融合与显著性目标检测任务间的协作关系。为实现多模态图像融合与 SOD 任务的无缝衔接，我们专门设计了基于特征筛选的融合子网络（FSFNet）以从源图像中筛除干扰特征，从而保留显著性相关特征。经 FSFNet 生成融合图像后，将其作为第三模态输入后续的融合引导跨互补 SOD 子网络（FCNet），利用融合图像所得互补信息驱动显著性图的精确预测。此外，我们开发了交互循环学习策略，以更短训练周期和更少网络参数实现 IVIF 与 SOD 任务的相互增强。综合实验结果表明，IVIF 与 SOD 的无缝衔接相互提升了性能，并凸显了二者的优越性。
引用
@article{arxiv.2305.09999,
title = {An Interactively Reinforced Paradigm for Joint Infrared-Visible Image Fusion and Saliency Object Detection},
author = {Di Wang and Jinyuan Liu and Risheng Liu and Xin Fan},
journal= {arXiv preprint arXiv:2305.09999},
year = {2023}
}