CoCoNet：用于多模态图像融合的耦合对比学习网络与多级特征集成
计算机视觉与模式识别
2024-12-17 v3
摘要
红外与可见光图像融合旨在通过结合来自不同传感器的互补信息来提供一幅信息丰富的图像。现有的基于学习的融合方法试图构造各种损失函数以保留互补特征，却忽视了发掘两种模态间的相互关系，导致融合结果出现冗余甚至无效信息。此外，多数方法侧重于通过增加网络深度来增强网络，而忽视了特征传输的重要性，造成关键信息退化。为缓解这些问题，我们提出一种称为 CoCoNet 的耦合对比学习网络，以端到端方式实现红外与可见光图像融合。具体而言，为同时保留来自两种模态的典型特征并避免融合结果出现伪影，我们在损失函数中设计了耦合对比约束。在融合图像中，其前景目标／背景细节部分在表示空间中被拉近红外／可见光源，并被推远于可见光／红外源。我们进一步利用图像特性提供数据敏感权重，使损失函数能与源图像建立更可靠的关系。建立了一个多级注意力模块，以学习丰富的层次化特征表示并在融合过程中全面传输特征。我们还将所提 CoCoNet 应用于不同类型医学图像融合，例如磁共振图像、正电子发射断层扫描图像和单光子发射计算机断层扫描图像。大量实验表明，我们的方法在主观与客观评价下均达到最先进的（SOTA）性能，尤其在保留显著目标和恢复重要纹理细节方面。
引用
@article{arxiv.2211.10960,
title = {CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion},
author = {Jinyuan Liu and Runjia Lin and Guanyao Wu and Risheng Liu and Zhongxuan Luo and Xin Fan},
journal= {arXiv preprint arXiv:2211.10960},
year = {2024}
}