SA-DNet：一种适应非刚性形变的需求驱动语义对象配准网络
计算机视觉与模式识别
2022-10-27 v2
摘要
作为红外与可见光图像融合前的关键处理步骤，图像配准的性能决定了两幅图像能否在正确空间位置融合。在实际场景中，不同的成像设备可能导致视角变化或拍摄时间间隔，使得红外与可见光图像间存在显著的非刚性空间关系。即便匹配大量特征点，配准精度仍可能不足，影响图像融合及其他视觉任务的结果。为缓解该问题，我们提出语义感知需求驱动配准网络（SA-DNet），其主要目的是通过设计语义感知模块（SAM）和 HOL-Deep 混合匹配模块（HDM），将特征匹配过程限制在语义感兴趣区域（sROI）内。在利用 TPS 基于 sROI 中对应特征点变换红外与可见光图像后，使用图像融合模块（IFM）融合配准图像，实现完整的配准与融合网络。此外，我们指出对于不同需求，此类方法允许我们根据需选择语义对象进行特征匹配，并基于特定要求完成任务专属配准。为证明 SA-DNet 对非刚性畸变的鲁棒性，我们将其与五种最先进的红外与可见光图像特征匹配方法进行了大量对比实验，实验结果表明我们的方法能更好适应图像中存在的非刚性畸变，并提供语义上配准良好的图像。
引用
@article{arxiv.2210.09900,
title = {SA-DNet: A on-demand semantic object registration network adapting to non-rigid deformation},
author = {Housheng Xie and Junhui Qiu and Yuan Dai and Yang Yang and Changcheng Xiang and Yukuan Zhang},
journal= {arXiv preprint arXiv:2210.09900},
year = {2022}
}
备注
15 pages, 12 figures