SSVIF：面向自监督分割的可见光与红外图像融合
计算机视觉与模式识别
2025-09-29 v1
摘要
可见光与红外图像融合（VIF）因其在场景分割和目标检测等任务中的广泛应用，近年来受到广泛关注。VIF 方法大致可分为传统 VIF 方法和面向应用的 VIF 方法。传统方法仅关注提升融合图像质量，而面向应用的 VIF 方法通过在训练中引入任务特定损失项，额外考虑下游任务在融合图像上的性能。然而，与传统方法相比，面向应用的 VIF 方法需要带有下游任务（如语义分割或目标检测）标注的数据集，导致数据获取费时费力。为解决此问题，我们提出一种面向分割的 VIF 自监督训练框架（SSVIF）。利用基于特征级融合的分割与基于像素级融合的分割之间的一致性，我们引入一种新颖的自监督任务——跨分割一致性——使融合模型无需分割标签监督即可学习高级语义特征。此外，我们设计了两阶段训练策略和动态权重调整方法，以在自监督框架内实现有效的联合学习。在公开数据集上的大量实验证明了所提 SSVIF 的有效性。值得注意的是，尽管仅在无标注可见光-红外图像对上训练，我们的 SSVIF 仍优于传统 VIF 方法，并可媲美有监督的面向分割方法。代码将在论文被接收后发布。
引用
@article{arxiv.2509.22450,
title = {SSVIF: Self-Supervised Segmentation-Oriented Visible and Infrared Image Fusion},
author = {Zixian Zhao and Xingchen Zhang},
journal= {arXiv preprint arXiv:2509.22450},
year = {2025}
}