VisIRNet：无人机拍摄可见光与红外图像对的深度图像对齐
计算机视觉与模式识别
2024-02-16 v1
摘要
本文提出了一种基于深度学习的多模态图像对齐解决方案，用于无人机拍摄的图像。许多最近提出的先进对齐技术依赖于基于Lucas-Kanade（LK）的解决方案来实现成功对齐。然而，我们证明在不使用基于LK的方法的情况下也能达到最先进的结果。我们的方法精心利用了一个基于特征嵌入块的双分支卷积神经网络（CNN）。我们提出了两种变体：在第一种变体（ModelA）中，我们直接预测待对齐图像仅四个角点的新坐标；在第二种变体（ModelB）中，我们直接预测单应性矩阵。对图像角点进行对齐迫使算法仅匹配这四个角点，而不是计算和匹配许多（关键）点，因为后者可能导致大量离群点，从而降低对齐精度。我们在四个航拍数据集上测试了所提出的方法，并与现有的深度LK架构相比，获得了最先进的结果。
引用
@article{arxiv.2402.09635,
title = {VisIRNet: Deep Image Alignment for UAV-taken Visible and Infrared Image Pairs},
author = {Sedat Ozer and Alain P. Ndigande},
journal= {arXiv preprint arXiv:2402.09635},
year = {2024}
}