PCNet：一种用于多光谱与多模态图像配准的结构相似性增强方法
计算机视觉与模式识别
2022-10-11 v3
摘要
多光谱与多模态图像在多源视觉信息融合领域具有重要用途。由于图像设备的更替或移动，所获取的多光谱与多模态图像通常未对齐，因此图像配准是前置条件。不同于普通图像的配准，多光谱或多模态图像的配准因强度与梯度的非线性变化而具挑战性。为应对该挑战，我们提出相位一致性网络（PCNet）以增强多光谱或多模态图像的结构相似性。随后可利用该网络生成的相似性增强特征图将图像对齐。PCNet 受著名相位一致性启发构建。该网络将相位一致性先验嵌入两个简单可训练层与一系列改进的可用 Gabor 核中。得益于先验知识，一旦训练完成，PCNet 即可应用于多种多光谱与多模态数据（如闪光/非闪光与 RGB/NIR 图像）而无需额外调参。该先验亦使网络轻量化。PCNet 的可训练参数仅为深度学习配准方法 DHN 的 1/2400，而其配准性能超越 DHN。实验结果验证 PCNet 优于当前最先进的传统多模态配准算法。此外，PCNet 可作为深度学习配准方法的补充部分，显著提升其配准精度。经 PCNet 处理后，UDHN 在 1 像素平均角点误差（ACE）下的图像数量占比从 0.2% 提升至 89.9%。
引用
@article{arxiv.2106.05124,
title = {PCNet: A Structure Similarity Enhancement Method for Multispectral and Multimodal Image Registration},
author = {Si-Yuan Cao and Beinan Yu and Lun Luo and Shu-Jie Chen and Chunguang Li and Hui-Liang Shen},
journal= {arXiv preprint arXiv:2106.05124},
year = {2022}
}
备注
33 pages, 16 figures