基于跨模态图像生成与配准的无监督未对齐红外与可见光图像融合
计算机视觉与模式识别
2022-05-25 v1
摘要
近期基于学习的图像融合方法在预配准多模态数据上取得了诸多进展，但在处理未对齐多模态数据时因空间形变与跨模态差异难以缩小而遭受严重的重影问题。为克服这些障碍，本文提出一种用于无监督未对齐红外与可见光图像融合（IVIF）的鲁棒跨模态生成-配准范式。具体而言，我们提出跨模态感知风格迁移网络（CPSTN），以可见光图像为输入生成伪红外图像。得益于 CPSTN 良好的几何保持能力，生成的伪红外图像具有清晰结构，更利于将跨模态图像对齐转化为结合红外图像结构敏感性的单模态配准。在此情形下，我们引入多级细化配准网络（MRRN）来预测失真与伪红外图像间的位移矢量场，并在单模态设定下重建配准后的红外图像。此外，为更好地融合配准后的红外图像与可见光图像，我们提出特征交互融合模块（IFM）在双路径交互融合网络（DIFN）中自适应选择更有意义的融合特征。大量实验结果表明所提方法在未对齐跨模态图像融合上具有优越能力。
引用
@article{arxiv.2205.11876,
title = {Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration},
author = {Di Wang and Jinyuan Liu and Xin Fan and Risheng Liu},
journal= {arXiv preprint arXiv:2205.11876},
year = {2022}
}