OCCO：基于目标感知与上下文对比学习的LVM引导红外与可见光图像融合框架
计算机视觉与模式识别
2025-03-25 v1
摘要
图像融合是计算机视觉领域的一项关键技术，其目标是生成高质量的融合图像并提升下游任务的性能。然而，现有的融合方法难以平衡这两个因素。融合图像的高质量可能导致下游视觉任务性能下降，反之亦然。为解决这一缺陷，本文提出了一种基于目标感知与上下文对比学习的新型LVM（大视觉模型）引导融合框架，称为OCCO。利用预训练的LVM提供语义指导，使网络能够专注于融合任务，同时以对比学习的形式强调对显著语义特征的学习。此外，还设计了一种新颖的特征交互融合网络，以解决由模态差异引起的融合图像中的信息冲突。通过在潜在特征空间（上下文空间）中学习正样本与负样本之间的区别，提高了融合图像中目标信息的完整性，从而有利于下游性能。最后，在四个数据集上与八种state-of-the-art方法相比，验证了所提方法的有效性，并在下游视觉任务上展示了卓越的性能。
引用
@article{arxiv.2503.18635,
title = {OCCO: LVM-guided Infrared and Visible Image Fusion Framework based on Object-aware and Contextual COntrastive Learning},
author = {Hui Li and Congcong Bian and Zeyang Zhang and Xiaoning Song and Xi Li and Xiao-Jun Wu},
journal= {arXiv preprint arXiv:2503.18635},
year = {2025}
}