面向可见光与长波红外图像块匹配的多域特征关系学习
计算机视觉与模式识别
2023-08-10 v1
摘要
近年来，基于学习的算法在跨光谱图像块匹配上取得了有前景的性能，但对于实际应用仍远未令人满意。一方面，缺乏具有多样场景的大规模数据集困扰着基于学习算法的进一步提升，其性能与泛化高度依赖于数据集规模与多样性。另一方面，更多强调空间域中的特征关系，而特征间的尺度依赖性常被忽视，导致尤其在跨光谱块遭遇显著表观变化时性能退化。为解决这些问题，我们发布了据我们所知最大的可见光与长波红外（LWIR）图像块匹配数据集，称为 VL-CMIM，其包含 1300 对严格配准的可见光与 LWIR 图像以及超过 200 万块对，覆盖小行星、田野、乡村、建筑、街道和水域等多样场景。此外，提出了一种多域特征关系学习网络（MD-FRN）。由四分支网络提取的特征输入后，分别通过空间相关模块（SCM）和多尺度自适应聚合模块（MSAG）学习空间域与尺度域的特征关系。为进一步聚合多域关系，应用了深度域交互机制（DIM），其中学到的空间关系与尺度关系特征被交换并进一步输入 MSCRM 与 SCM。该机制使我们的模型能够学习交互式跨域特征关系，从而对因模态不同导致的显著表观变化具有改进的鲁棒性。
引用
@article{arxiv.2308.04880,
title = {Learning multi-domain feature relation for visible and Long-wave Infrared image patch matching},
author = {Xiuwei Zhang and Yanping Li and Zhaoshuai Qi and Yi Sun and Yanning Zhang},
journal= {arXiv preprint arXiv:2308.04880},
year = {2023}
}
备注
13 pages, 8 figures