通过任务导向训练学习跨光谱点特征

无人机（UAVs）使其能够在偏远和危险的环境中执行任务，但无人机常依赖的可见光谱、基于摄像头的导航系统在低可见度条件下难以正常工作。热力学相机能够捕捉长波红外辐射，能够在黑暗和烟雾环境中有效工作，而可见光相机则会失败。本工作探索了学习的跨光谱（热-可见）点特征作为将热力学图像集成到已建立的摄像头导航系统中的一种方法。现有方法通常直接训练特征网络的检测和描述输出，往往侧重于热力学图像和可见光谱图像在外观上相似的区域进行训练。为更充分利用可用数据，我们提出了一种在匹配和注册任务上训练特征网络的方法。我们在热力学-可见光图像对上运行特征网络，然后将网络响应输入到可微分注册管道中。在该管道上施加匹配和注册估计的损失。我们选取的模型在匹配任务上训练，达到了在MultiPoint数据集上超过75%的估计结果，其注册误差（角点误差）低于10像素。我们进一步演示了该模型也可与经典管道一起用于匹配和注册。