MonoRec：动态环境中基于单目移动相机的半监督稠密重建
计算机视觉与模式识别
2022-09-22 v3
摘要
本文提出 MonoRec，一种半监督单目稠密重建架构，可从动态环境中的单个移动相机预测深度图。MonoRec 基于多视图立体设置，将多帧连续图像的信息编码于代价体中。为处理场景中的动态物体，我们引入 MaskModule，通过利用代价体中编码的光度不一致性来预测运动物体掩码。与其他多视图立体方法不同，MonoRec 能够借助预测的掩码重建静态与运动物体。此外，我们提出一种新颖的多阶段训练方案，采用无需 LiDAR 深度值的半监督损失形式。我们在 KITTI 数据集上仔细评估了 MonoRec，结果表明其相较多视图与单视图方法均达到最先进性能。利用在 KITTI 上训练的模型，我们进一步证明 MonoRec 能很好地泛化至 Oxford RobotCar 数据集以及由手持相机记录的更具挑战性的 TUM-Mono 数据集。代码与相关材料将发布于 https://vision.in.tum.de/research/monorec。
引用
@article{arxiv.2011.11814,
title = {MonoRec: Semi-Supervised Dense Reconstruction in Dynamic Environments from a Single Moving Camera},
author = {Felix Wimbauer and Nan Yang and Lukas von Stumberg and Niclas Zeller and Daniel Cremers},
journal= {arXiv preprint arXiv:2011.11814},
year = {2022}
}
备注
CVPR 2021, Project page with video can be found under https://vision.in.tum.de/research/monorec. 14 pages, 10 figures, 5 tables