面向错位红外-可见图像融合的双向自注册方法
计算机视觉与模式识别
2025-05-13 v1
摘要
获取准确对齐的多模态图像对是实现高质量多模态图像融合的基本要素。为解决当前多模态图像配准和融合方法缺乏真实参考值的问题，本文提出了一种新型的自监督双向自注册框架（B-SR）。具体而言，B-SR利用代理数据生成器（PDG）和逆代理数据生成器（IPDG）实现自监督的全局-局部配准。将可见-红外图像对进行空间错位处理后，通过配准模块对齐以获得全局差异。相同的图像对由PDG处理，如裁剪、翻转、拼接等，然后通过配准模块对齐以获得局部差异。IPDG将获取的局部差异转换为伪全局差异，用于与全局差异进行全局-局部一致性。此外，针对消除模态差距对配准模块的影响，本文设计了一种邻域动态对齐损失，以实现跨模态图像边缘对齐。在错位多模态图像上的大量实验表明，所提出的方法在多模态图像对齐和融合方面优于对手方法。我们的代码将公开提供。
引用
@article{arxiv.2505.06920,
title = {Bi-directional Self-Registration for Misaligned Infrared-Visible Image Fusion},
author = {Timing Li and Bing Cao and Pengfei Zhu and Bin Xiao and Qinghua Hu},
journal= {arXiv preprint arXiv:2505.06920},
year = {2025}
}