通过观看立体视频联合无监督学习光流与深度
计算机视觉与模式识别
2018-10-10 v1
摘要
近年来，通过深度神经网络观看视频来学习深度和光流取得了显著进展。在本文中，我们利用立体视频中潜在的几何规则联合求解这两个任务。具体而言，给定来自视频的两组连续立体图像对，我们首先从三个神经网络估计深度、相机自运动和光流。然后，通过比较估计的光流与由深度和自运动导出的刚体流，将整个场景分解为运动前景和静态背景。我们提出一种新的一致性损失，使光流在静态区域从更准确的刚体流中学习。我们还设计了一个刚体对齐模块，利用估计的深度和光流来帮助细化自运动估计。在 KITTI 数据集上的实验表明，我们的结果显著优于其他 SOTA 算法。源代码可在 https://github.com/baidu-research/UnDepthflow 获取。
引用
@article{arxiv.1810.03654,
title = {Joint Unsupervised Learning of Optical Flow and Depth by Watching Stereo Videos},
author = {Yang Wang and Zhenheng Yang and Peng Wang and Yi Yang and Chenxu Luo and Wei Xu},
journal= {arXiv preprint arXiv:1810.03654},
year = {2018}
}
备注
Submitted to AAAI 2019