野外部视频中的深度：基于未知相机无监督单目深度学习
计算机视觉与模式识别
2019-10-31 v1 图形学
机器学习
机器人学
摘要
我们提出了一种从单目视频中同时学习深度、自运动、物体运动和相机内参的新方法，仅使用相邻视频帧之间的一致性作为监督信号。与先前工作类似，我们的方法通过对帧施加可微分的扭曲并与相邻帧比较结果来进行学习，但提供了若干改进：我们从几何上以可微分方式处理遮挡，直接利用训练期间预测的深度图。我们引入了随机层归一化这一新颖而强大的正则化器，并考虑了相对于场景的物体运动。据我们所知，我们的工作是首个以无监督方式从视频中学习相机内参（包括镜头畸变）的工作，从而允许我们从任意未知来源的视频中大规模提取准确的深度和运动。我们在 Cityscapes、KITTI 和 EuRoC 数据集上评估了我们的结果，在深度预测和里程计上建立了新的 SOTA，并定性地证明深度预测可以从一组 YouTube 视频中学习。
引用
@article{arxiv.1904.04998,
title = {Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unknown Cameras},
author = {Ariel Gordon and Hanhan Li and Rico Jonschkowski and Anelia Angelova},
journal= {arXiv preprint arXiv:1904.04998},
year = {2019}
}