基于域分离的全天候图像自监督单目深度估计
计算机视觉与模式识别
2021-08-18 v1
摘要
基于 DCNN 的自监督深度估计方法已取得显著成果。然而，这类方法大多只能处理白天或夜间图像，由于白天与夜间图像间存在较大域偏移和光照变化，其对全天候图像的性能会下降。为缓解这些局限，我们提出一种域分离网络用于全天候图像的自监督深度估计。具体而言，为减轻扰动项（光照等）的负面影响，我们将白天与夜间图像对的信息划分为两个互补子空间：私有域与不变域，前者包含白天和夜间图像独有的信息（光照等），后者包含本质的共享信息（纹理等）。同时，为保证白天与夜间图像包含相同信息，域分离网络以白天图像及相应夜间图像（由 GAN 生成）作为输入，并通过正交性与相似性损失学习私有与不变特征提取器，从而缓解域差距，进而有望获得更好的深度图。此外，利用重建损失与光度损失有效估计互补信息与深度图。实验结果表明，我们的方法在具有挑战性的 Oxford RobotCar 数据集上取得了全天候图像 SOTA 深度估计结果，证明了所提方法的优越性。
引用
@article{arxiv.2108.07628,
title = {Self-supervised Monocular Depth Estimation for All Day Images using Domain Separation},
author = {Lina Liu and Xibin Song and Mengmeng Wang and Yong Liu and Liangjun Zhang},
journal= {arXiv preprint arXiv:2108.07628},
year = {2021}
}
备注
Accepted by ICCV 2021