OSDM-MReg：基于单步扩散模型的多模态图像配准
计算机视觉与模式识别
2026-03-03 v3 图像与视频处理
摘要
多模态遥感图像配准将来自不同传感器的图像对齐，以实现数据融合与分析。然而，现有方法往往难以在面对大规模非线性辐射差异时（例如 SAR 与光学图像之间）提取模态不变特征。为解决这些挑战，我们提出 OSDM-MReg，一种通过图像到图像翻译桥接模态差距的 novel 多模态图像配准框架。具体而言，我们引入一种单步骤无对齐目标引导条件扩散模型 (UTGOS-CDM)，将源图像和目标图像翻译到统一表示域。不同于 require hundreds 步骤进行推断的传统条件 DDPM，我们的模型在训练期间采用 novel 逆向翻译目标，使在测试时能够直接预测翻译后的图像，从而显著加快配准过程。翻译后，我们设计了多模态多尺度配准网络 (MM-Reg)，该网络使用提出的多模态融合策略提取和融合 unimodal 和翻译后的 multimodal 图像，增强跨尺度和跨模态的对齐鲁棒性与精度。广泛的在 OSdataset 上的实验表明，OSDM-MReg 在配准精度方面优于 state-of-the-art 方法。
引用
@article{arxiv.2504.06027,
title = {OSDM-MReg: Multimodal Image Registration based One Step Diffusion Model},
author = {Xiaochen Wei and Weiwei Guo and Wenxian Yu and Feiming Wei and Dongying Li},
journal= {arXiv preprint arXiv:2504.06027},
year = {2026}
}