快速多帧立体场景流与运动分割
计算机视觉与模式识别
2017-11-29 v1
摘要
我们提出了一种新的多帧方法，用于高效计算从移动立体相机装置观察到的动态场景的场景流（稠密深度和光流）以及相机自运动。我们的技术还将运动物体从刚性场景中分割出来。在我们的方法中，我们首先使用立体匹配和视觉里程计估计视差图和6-DOF相机运动。然后，我们识别与估计的相机运动不一致的区域，并仅在这些区域计算逐像素光流。该光流提议使用融合移动与基于相机运动的流提议相融合，以获得最终的光流和运动分割。这个统一框架惠及所有四个任务——立体、光流、视觉里程计和运动分割，从而带来整体更高的准确性和效率。我们的方法目前在KITTI 2015场景流基准上排名第三。此外，我们的CPU实现每帧运行2-3秒，比前六名方法快1-3个数量级。我们还报告了在具有快速相机和物体运动的具有挑战性的Sintel序列上的彻底评估，其中我们的方法始终优于OSF [Menze and Geiger, 2015]，后者目前在KITTI基准上排名第二。
引用
@article{arxiv.1707.01307,
title = {Fast Multi-frame Stereo Scene Flow with Motion Segmentation},
author = {Tatsunori Taniai and Sudipta N. Sinha and Yoichi Sato},
journal= {arXiv preprint arXiv:1707.01307},
year = {2017}
}
备注
15 pages. To appear at IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2017). Our results were submitted to KITTI 2015 Stereo Scene Flow Benchmark in November 2016