基于对抗域特征适配的夜间图像无监督单目深度估计

本文研究从非受限 RGB 单目夜间图像估计逐像素深度图的问题，这是一项文献中未得到充分解决的困难任务。最先进的日间深度估计方法在用于夜间图像测试时由于两者间的巨大域偏移而严重失效。用于训练这些网络的常规光度损失可能因夜间图像缺乏日间图像中普遍存在的均匀光照而无法奏效，使其成为一个难以解决的问题。我们提出将该问题视为域适配问题，即把一个用日间图像训练的网络适配到用于夜间图像。具体而言，通过基于 PatchGAN 的对抗判别学习方法，训练一个编码器从夜间图像生成与日间图像所得特征不可区分的特征。不同于直接适配深度预测（网络输出）的现有方法，我们提出适配从编码器网络获得的特图，以便预训练的日间深度解码器可直接用于从这些适配特征预测深度。因此，所得方法被称为“对抗域特征适配（ADFA）”，并通过在具有挑战性的 Oxford 夜间驾驶数据集上的实验证明了其有效性。此外，所提 ADFA 方法的模块化编码器-解码器架构允许我们将编码器模块用作特征提取器，可应用于许多其他任务。我们展示了一个此类应用，其中来自我们适配编码器网络的特征在视觉位置识别问题中优于其他最先进方法，从而进一步确立了所提方法的实用性与有效性。