面向红外与可见图像的不确定性感知空间-频率配准与融合

红外与可见图像融合（IVIF）在面对挑战性环境时显示出前景，但在未注册条件下的融合面临固有的错位问题。当前研究要么预测粗到细的变形参数（即粗配准和细配准），要么在多尺度上估计变形场进行配准。虽然方法直观，但忽略了配准中累积误差，这些误差会污染融合阶段并严重恶化结果图像。我们引入空间-频率配准与融合（SFRF）框架，将不确定性估计和红外热辐射分布一致性纳入统一管道，以处理跨空间和频率域的误差累积，实现稳健的配准与融合。具体而言，SFRF构建多尺度迭代配准（MIR）框架，在各尺度上迭代细化变形场，利用不确定性估计在每个阶段减轻误差累积并动态提升对齐精度。为确保红外热分布在配准期间准确对齐，热辐射分布一致性被用作频率域监督信号，促进频率域的全局一致性。基于空间-频率对齐，SFRF进一步采用双分支空间-频率融合（DSFF）模块，将空间几何特征和频率分布信息融合以重建视觉上令人满意的图像。SFRF在多样化数据集上实现了令人瞩目的性能。