TANDEM:基于深度多视图立体视觉的实时跟踪与稠密建图
计算机视觉与模式识别
2021-11-16 v1 机器人学
摘要
本文提出TANDEM,一个实时单目跟踪与稠密建图框架。对于位姿估计,TANDEM基于关键帧滑动窗口执行光度束调整。为提高鲁棒性,我们提出一种新颖的跟踪前端,利用从全局模型渲染的深度图进行稠密直接图像对齐,该全局模型由稠密深度预测逐步构建。为预测稠密深度图,我们提出级联视图聚合MVSNet(CVA-MVSNet),其通过分层构建3D代价体并采用自适应视图聚合来利用整个活动关键帧窗口,以平衡关键帧间不同的立体基线。最后,预测的深度图被融合为一个以截断符号距离函数(TSDF)体素网格表示的连贯全局地图。实验结果表明,TANDEM在相机跟踪方面优于其他最先进的传统与基于学习的单目视觉里程计(VO)方法。此外,TANDEM展现出最先进的实时三维重建性能。
引用
@article{arxiv.2111.07418,
title = {TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view Stereo},
author = {Lukas Koestler and Nan Yang and Niclas Zeller and Daniel Cremers},
journal= {arXiv preprint arXiv:2111.07418},
year = {2021}
}
备注
CoRL 2021. The manuscript contains the main paper and the supplementary materials. Project page: https://go.vision.in.tum.de/tandem