非刚性场景的无监督单目深度重建
计算机视觉与模式识别
2021-10-29 v3
摘要
复杂动态场景的单目深度重建是一个极具挑战性的问题。对于刚性场景，基于学习的方法即使在无监督情况下也已取得令人鼓舞的结果，但针对动态和可变形场景的同类研究几乎空白。本文提出一种用于动态场景稠密深度估计的无监督单目框架，该框架在无需显式建模相机运动的情况下联合重建刚性与非刚性部分。利用稠密对应关系，我们推导了一个训练目标，旨在尽可能保持重建三维点之间的成对距离。在此过程中，稠密深度图通过“尽可能刚性”(as-rigid-as-possible)假设被隐式学习。我们的方法提供了有前景的结果，证明了其从非刚性场景的挑战性视频中重建三维的能力。此外，所提方法还将无监督运动分割结果作为辅助输出提供。
引用
@article{arxiv.2012.15680,
title = {Unsupervised Monocular Depth Reconstruction of Non-Rigid Scenes},
author = {Ayça Takmaz and Danda Pani Paudel and Thomas Probst and Ajad Chhatkuli and Martin R. Oswald and Luc Van Gool},
journal= {arXiv preprint arXiv:2012.15680},
year = {2021}
}