SIM-Sync：从三维相似群上可证明最优同步到基于学习深度的场景重建
机器人学
2023-09-12 v1
摘要
本文提出 SIM-Sync，一种可证明最优的算法，可直接从多视角图像关键点估计相机轨迹与三维场景结构。SIM-Sync 填补了位姿图优化与光束法平差之间的空白：前者支持高效全局优化但需相对位姿测量，后者直接利用图像关键点却难以全局优化（源于相机投影几何）。弥补该空白的桥梁是一个预训练深度预测网络。给定一个图，其节点表示在未知相机位姿下拍摄的单目图像，边包含成对图像关键点对应关系，SIM-Sync 首先使用预训练深度预测网络将二维关键点提升为三维带尺度点云，其中由于单目深度预测中的尺度模糊性，每幅图像点云的尺度未知。SIM-Sync 随后寻求联合同步未知相机位姿与尺度因子（即在三维相似群上）。尽管 SIM-Sync 的建模非凸，但允许设计一种高效的可证明最优求解器，其与 SE-Sync 算法几乎一致。我们在仿真与真实实验中展示了 SIM-Sync 的紧致性、鲁棒性与实用价值。在仿真中，我们表明（i）SIM-Sync 在无尺度同步中与 SE-Sync 相比具优势，且（ii）SIM-Sync 可与鲁棒估计器结合以容忍大量离群值。在真实实验中，我们表明（a）SIM-Sync 在光束法平差数据集上取得与 Ceres 相近的性能，且（b）SIM-Sync 在 TUM 数据集上以零样本深度预测达到与 ORB-SLAM3 相当的表现。
引用
@article{arxiv.2309.05184,
title = {SIM-Sync: From Certifiably Optimal Synchronization over the 3D Similarity Group to Scene Reconstruction with Learned Depth},
author = {Xihang Yu and Heng Yang},
journal= {arXiv preprint arXiv:2309.05184},
year = {2023}
}
备注
28 pages