通过观看静止人来学习运动人物的深度
计算机视觉与模式识别
2019-04-26 v1
摘要
我们提出了一种在单目相机和场景中人均自由运动的场景下预测稠密深度的方法。现有从单目视频恢复动态非刚性物体深度的方法对物体运动施加了强假设，且可能仅能恢复稀疏深度。在本文中，我们采取数据驱动的方法，并从一种新的数据源学习人类深度先验：数千个互联网上人们模仿人体模型的视频，即手持相机游览场景时，人们以多样自然的姿势保持静止。由于人物是静止的，可使用多视立体重建生成训练数据。在推理时，我们的方法利用场景静态区域的运动视差线索来引导深度预测。我们在由移动手持相机捕捉的复杂人类动作真实序列上演示了我们的方法，显示出相对于最先进（SOTA）单目深度预测方法的改进，并展示了使用我们所预测深度产生的各种3D效果。
引用
@article{arxiv.1904.11111,
title = {Learning the Depths of Moving People by Watching Frozen People},
author = {Zhengqi Li and Tali Dekel and Forrester Cole and Richard Tucker and Noah Snavely and Ce Liu and William T. Freeman},
journal= {arXiv preprint arXiv:1904.11111},
year = {2019}
}
备注
CVPR 2019 (Oral)