利用单阶段渐进稠密配准改进错位多模态图像融合
计算机视觉与模式识别
2023-08-23 v1
摘要
多模态图像间的错位给图像融合带来挑战,表现为结构畸变与边缘重影。现有方法通常先配准后融合,一般采用两个级联阶段进行配准,即粗配准与细配准。两阶段均直接估计各自的目标形变场。本文认为,分离的两阶段配准不够紧凑,且直接估计目标形变场不够准确。为应对这些挑战,我们提出跨模态多尺度渐进稠密配准(C-MPDR)方案,仅通过单阶段优化完成由粗到细的配准,从而提升错位多模态图像的融合性能。具体而言,涉及两个关键组件:稠密形变场融合(DFF)模块与渐进特征细化(PFF)模块。DFF 聚合当前尺度下预测的多尺度形变子场,而 PFF 渐进细化剩余错位特征。二者协同工作以准确估计最终形变场。此外,我们开发了基于 Transformer-Conv 的融合(TCF)子网络,考虑局部与长程特征依赖,从而从配准后的红外与可见光图像中捕获更具信息量的特征以生成高质量融合图像。大量实验分析证明了所提方法在错位跨模态图像融合中的优越性。
引用
@article{arxiv.2308.11165,
title = {Improving Misaligned Multi-modality Image Fusion with One-stage Progressive Dense Registration},
author = {Di Wang and Jinyuan Liu and Long Ma and Risheng Liu and Xin Fan},
journal= {arXiv preprint arXiv:2308.11165},
year = {2023}
}