基于视频的自监督物体运动与深度估计
计算机视觉与模式识别
2020-05-14 v2
摘要
我们提出了一种自监督学习框架，用于从视频中估计单个物体运动和单目深度。我们将物体运动建模为 6 自由度刚体变换。利用实例分割掩码引入物体信息。与预测稠密光流图来建模运动的方法相比，我们的方法显著减少了待估计数值的数量。我们的系统通过施加新颖的几何约束损失项消除了运动预测的尺度模糊性。在 KITTI 驾驶数据集上的实验表明，我们的系统能够在无外部标注的情况下捕捉物体运动。我们的系统在 3D 场景流预测方面优于先前的自监督方法，并有助于动态区域的视差预测。
引用
@article{arxiv.1912.04250,
title = {Self-supervised Object Motion and Depth Estimation from Video},
author = {Qi Dai and Vaishakh Patil and Simon Hecker and Dengxin Dai and Luc Van Gool and Konrad Schindler},
journal= {arXiv preprint arXiv:1912.04250},
year = {2020}
}
备注
Camera Ready Version for CVPRW, 2020