勿忘过往：基于单目视频的循环深度估计
计算机视觉与模式识别
2020-07-29 v2 机器学习
机器人学
图像与视频处理
摘要
自动驾驶汽车需要持续更新的深度信息。迄今为止，深度大多是针对单帧独立估计的，即便方法以视频作为输入也是如此。我们的方法生成深度图的时间序列，这使其成为在线学习方法的理想候选。具体而言，我们将三种不同类型的深度估计（有监督深度预测、自监督深度预测和自监督深度补全）纳入一个统一框架。我们将相应的网络与 ConvLSTM 集成，从而可以利用跨帧深度的时空结构以产生更准确的深度估计。我们的方法灵活，既可仅应用于单目视频，也可与不同类型的稀疏深度模式结合。我们仔细研究了循环网络的架构及其训练策略。我们是首个成功将循环网络用于实时自监督单目深度估计与补全的团队。大量实验表明，在两种自监督场景下，我们的循环方法均持续且显著优于其基于图像的对应方法，同时也优于上述三类流行方法中的已有深度估计方法。详情请参见 https://www.trace.ethz.ch/publications/2020/rec_depth_estimation/。
引用
@article{arxiv.2001.02613,
title = {Don't Forget The Past: Recurrent Depth Estimation from Monocular Video},
author = {Vaishakh Patil and Wouter Van Gansbeke and Dengxin Dai and Luc Van Gool},
journal= {arXiv preprint arXiv:2001.02613},
year = {2020}
}
备注
Please refer to our webpage for details https://www.trace.ethz.ch/publications/2020/rec_depth_estimation/