Conti-Fuse：基于连续分解的红外与可见图像融合新方法
计算机视觉与模式识别
2024-12-04 v3
摘要
为了更好地探索深层学习融合框架中跨模态和内模态的关系，分解概念在其中发挥着关键作用。然而，现有的分解策略（基底与细节或低频与高频）过于粗糙，无法呈现源模态的共同特征和独特特征，导致融合图像质量下降。现有策略将这些关系视为二元系统，而这可能不适用于复杂的生成任务（如图像融合）。为此提出一种连续分解基于的融合框架（Conti-Fuse）。Conti-Fuse 将分解结果视为源图像特征变化轨迹上少量样本，扩展为更通用的连续分解，以实现更完整的特征表示。这种新的连续分解策略通过增加分解样本的数量来增强跨模态互补信息的表示，从而减少关键信息的损失。为促进此过程，引入连续分解模块（CDM），将输入分解为一系列连续组件。CDM 的核心模块状态转换器（State Transformer, ST）用于高效地从源模态中捕获互补信息。此外，还设计了一种新的分解损失函数，确保分解过程的平滑进行，同时保持与分解样本数量成正比的时间复杂性。广泛的实验表明，我们提出的 Conti-Fuse 在性能上优于现有的领先融合方法。
引用
@article{arxiv.2406.04689,
title = {Conti-Fuse: A Novel Continuous Decomposition-based Fusion Framework for Infrared and Visible Images},
author = {Hui Li and Haolong Ma and Chunyang Cheng and Zhongwei Shen and Xiaoning Song and Xiao-Jun Wu},
journal= {arXiv preprint arXiv:2406.04689},
year = {2024}
}