面向可穿戴视频的实时三维重建：V-SLAM、NeRF 与 videogrammetry 技术评估
图像与视频处理
2022-11-23 v1 计算机视觉与模式识别
摘要
混合现实（MR）是一项关键技术，有望改变未来战争形态。物理户外环境与虚拟军事训练相结合的 MR 混合体，将实现对远距离敌人（真实与模拟）的交战。为实现该技术，必须基于实时传感器观测维护物理环境的大规模三维模型。三维重建算法应利用视频相机传感器成本低且普遍存在的特性，涵盖俯视与士兵层级视角。映射速度与三维质量可加以平衡，以在动态环境中实现实时 MR 训练。鉴于这些需求，我们调研了若干仅给定实时视频、面向军事应用大规模建图的三维重建算法。我们测评了来自常规运动恢复结构、视觉 SLAM 和摄影测量技术的三维重建性能。这包括开源算法 COLMAP、ORB-SLAM3 以及使用 Instant-NGP 的 NeRF。我们采用包含仪表盘摄像头视频和激光雷达生成三维真值的自动驾驶学术基准 KITTI。借助 KITTI 数据，我们的主要贡献是对考虑实时视频时的三维重建计算速度进行了定量评估。
引用
@article{arxiv.2211.11836,
title = {Towards Live 3D Reconstruction from Wearable Video: An Evaluation of V-SLAM, NeRF, and Videogrammetry Techniques},
author = {David Ramirez and Suren Jayasuriya and Andreas Spanias},
journal= {arXiv preprint arXiv:2211.11836},
year = {2022}
}
备注
Accepted to 2022 Interservice/Industry Training, Simulation, and Education Conference (I/ITSEC), 13 pages