超越严格配对：面向高性能红外与可见光图像融合的任意配对训练
计算机视觉与模式识别
2026-03-24 v1
摘要
红外与可见光图像融合（IVIF）在保留自然纹理和显著热特征的同时，结合了互补模态。现有解决方案主要依赖于大量严格对齐的图像对进行训练。然而，由于对齐过程成本高昂且劳动密集，获取此类数据通常不切实际。此外，在训练期间保持严格的配对设置限制了跨模态关系的数量，从而限制了泛化性能。为此，本工作通过系统地研究用于高性能IVIF的非配对和任意配对训练范式（UPTP和APTP），挑战了严格配对训练范式（SPTP）的必要性。我们建立了APTP的理论目标，反映了UPTP和SPTP之间的互补性。更重要的是，我们开发了一个实用框架，即使在训练数据严重有限且未对齐的情况下，也能显著丰富跨模态关系。为了验证我们的主张，我们设计了三个端到端的轻量级基线模型，以及一组创新的损失函数，以覆盖三种经典框架（CNN、Transformer、GAN）。综合实验表明，所提出的APTP和UPTP是可行的，并且能够在严重有限且内容不一致的红外和可见光数据集上训练模型，其性能可与在SPTP下使用大100倍的数据集所达到的性能相媲美。这一发现从根本上减轻了数据收集的成本和难度，同时从数据角度增强了模型的鲁棒性，为IVIF研究提供了一个可行的解决方案。代码可在\href{https://github.com/yanglinDeng/IVIF_unpair}{\textcolor{blue}{https://github.com/yanglinDeng/IVIF\_unpair}}获取。
引用
@article{arxiv.2603.21820,
title = {Beyond Strict Pairing: Arbitrarily Paired Training for High-Performance Infrared and Visible Image Fusion},
author = {Yanglin Deng and Tianyang Xu and Chunyang Cheng and Hui Li and Xiao-jun Wu and Josef Kittler},
journal= {arXiv preprint arXiv:2603.21820},
year = {2026}
}
备注
Accepted by CVPR2026