基于循环神经网络从视频中学习稠密深度与自运动的算法
计算机视觉与模式识别
2018-05-18 v1
摘要
基于学习的单视图深度估计通常对未见过的数据集泛化较差。而基于学习的两帧深度估计通过学习跨帧匹配特征在一定程度上解决了该问题，但在不确定性较大的大深度处表现不佳。基于学习的多视图深度估计方法很少。本文提出一种基于学习的、使用循环神经网络（RNN）的多视图稠密深度图与自运动估计方法。我们的模型专为视频的3D重建设计，其中输入帧具有时间相关性。它可泛化至单视图或双视图稠密深度估计。与近期基于CNN的单视图或双视图深度估计方法相比，我们的模型利用了更多视图并取得了更精确的结果，尤其是在远距离处。在室内与室外基准数据集上，我们的方法均优于最先进的基于学习的单视图或双视图深度估计方法。我们还证明，我们的方法甚至可作用于极困难的序列，例如内窥镜视频，其中传统3D重建方法的假设（静态场景、恒定光照、朗伯反射等）均不成立。
引用
@article{arxiv.1805.06558,
title = {Recurrent Neural Network for Learning DenseDepth and Ego-Motion from Video},
author = {Rui Wang and Jan-Michael Frahm and Stephen M. Pizer},
journal= {arXiv preprint arXiv:1805.06558},
year = {2018}
}