忘掉激光雷达：基于 MED 概率体的自监督深度估计器
计算机视觉与模式识别
2020-09-29 v2 图像与视频处理
摘要
自监督深度估计器近期在极具挑战性的单图像深度估计（SIDE）任务上展现出可与监督方法相媲美的结果，其利用了训练数据中目标视图与参考视图之间的几何关系。然而，先前方法通常学习前向或后向图像合成，而非深度估计，因为它们无法有效忽略目标与参考图像间的遮挡。已有工作依赖刚性光度假设或 SIDE 网络来推断深度与遮挡，导致性能受限。另一方面，我们提出一种用于训练深度估计器的“忘掉激光雷达”（FAL）方法，采用镜像指数视差（MED）概率体，并借助我们新颖的镜像遮挡模块（MOM）从中获得受几何启发的遮挡图。我们的 MOM 不会给 FAL-net 带来负担。与以往通过回归线性空间中的视差从立体对中学习 SIDE 的方法不同，我们的 FAL-net 通过将视差分箱到指数空间来回归视差，从而更好地检测远处与近处物体。我们为 FAL-net 定义了两步训练策略：先训练用于视图合成，再用我们的 MOM 微调用于深度估计。我们的 FAL-net 极为轻量，在具挑战性的 KITTI 数据集上以少 8 倍的参数和快 3 倍的推理速度优于以往的 SOTA 方法。我们在 KITTI、CityScapes 和 Make3D 数据集上给出了大量实验结果以验证我们方法的有效性。据作者所知，所提方法在以往所有自监督方法中表现最佳。
引用
@article{arxiv.2008.03633,
title = {Forget About the LiDAR: Self-Supervised Depth Estimators with MED Probability Volumes},
author = {Juan Luis Gonzalez and Munchurl Kim},
journal= {arXiv preprint arXiv:2008.03633},
year = {2020}
}
备注
Accepted to NeurIPS2020