基于多光谱一致性损失的自监督单目热成像视频深度与自运动估计

热像仪可以在夜间场景、隧道和灾害场景等恶劣光照条件下稳健地捕获热辐射图像。然而，尽管有此优势，迄今为止针对热像仪的深度和自运动估计研究尚未得到积极展开。在本文中，我们提出了一种从热图像中进行深度和自运动估计的自监督学习方法。所提方法利用了由温度和光度一致性损失组成的多光谱一致性。温度一致性损失通过重建被裁剪和彩色化的热图像提供了基本的自监督信号。此外，我们设计了一个可微分的正向扭曲模块，该模块能够将估计深度图和相对位姿的坐标系从热像仪变换到可见光相机。基于所提模块，光度一致性损失可以为网络提供互补的自监督。使用所提方法训练的网络在低光照甚至零光照条件下从单目热成像视频中稳健地估计深度和位姿。据我们所知，这是首项以自监督方式同时从单目热成像视频中估计深度和自运动的工作。