一个潜在空间统领所有退化：统一图像融合的复原知识
计算机视觉与模式识别
2025-11-20 v3
摘要
多模态图像融合模型之一的一体化退化感知融合模型（ADFMs）旨在通过减轻源图像的退化并生成高质量融合图像来处理复杂场景。主流的ADFMs依赖端到端学习和重度合成的数据集来实现退化感知与融合。这种粗糙的学习策略和对非真实世界场景数据集的依赖往往限制了它们的上限性能，导致低质量结果。为解决这些局限性，我们提出了LURE，一种面向红外与可见光图像融合的学习驱动统一表示模型，该模型具有退化感知能力。LURE学习一个统一潜在特征空间（ULFS），以避免对先前端到端学习流程中固有的复杂数据格式的依赖。它通过利用多模态之间的内在关系进一步提升了图像融合质量。此外，还提出了一种新颖的损失函数，以驱动统一潜在表示的学习更加稳定。更重要的是，LURE无缝整合了现有的高质量真实世界图像复原数据集。为进一步增强模型的表示能力，我们设计了一种简单而有效的结构，称为内部残差块，以促进潜在特征的学习。实验表明，我们的方法在通用融合、退化感知融合和下游任务中均优于SOTA方法。代码可在补充材料中获取。
引用
@article{arxiv.2503.07033,
title = {One Latent Space to Rule All Degradations: Unifying Restoration Knowledge for Image Fusion},
author = {Haolong Ma and Hui Li and Chunyang Cheng and Zeyang Zhang and Xiaoqing Luo and Xiaoning Song and Xiao-Jun Wu},
journal= {arXiv preprint arXiv:2503.07033},
year = {2025}
}