HSFusion：基于语义与几何域转换的面向高层视觉任务的红外与可见图像融合网络
计算机视觉与模式识别
2024-07-16 v1
摘要
红外与可见图像融合已从面向视觉感知的融合方法发展为同时考虑视觉感知与高层视觉任务的策略。然而，现有基于任务的方法未能解决语义与几何表征之间的域间差距。为克服这些问题，我们提出一种面向高层视觉任务的红外与可见图像融合网络，通过语义与几何域转换实现，称为 HSFusion。具体而言，为最小化语义与几何表征之间的差距，我们设计了两个独立的域转换分支，基于 CycleGAN 框架，每个分支包括两个过程：前向分割过程和逆向重构过程。CycleGAN 能够学习域转换模式，重构过程在这些模式的约束下进行。因此，我们的方法显著促进了语义与几何信息的集成，并进一步缩小了域间差距。在融合阶段，我们将从两个独立 CycleGAN 重构过程中提取的红外和可见特征进行整合，以获得融合结果。这些包含不同比例语义与几何信息的特征能够显著提升高层视觉任务的性能。此外，我们根据分割结果生成掩码以指导融合任务。这些掩码可提供语义先验，我们设计了针对两个不同区域的自适应权重以促进图像融合。最后，我们在本方法与十一其他前沿方法之间的对比实验中，表明该方法在视觉效果和语义分割任务方面均优于其他方法。
引用
@article{arxiv.2407.10047,
title = {HSFusion: A high-level vision task-driven infrared and visible image fusion network via semantic and geometric domain transformation},
author = {Chengjie Jiang and Xiaowen Liu and Bowen Zheng and Lu Bai and Jing Li},
journal= {arXiv preprint arXiv:2407.10047},
year = {2024}
}