实时单目物体模型感知稀疏 SLAM

同步定位与建图（SLAM）是移动机器人中的基础问题。基于稀疏点的 SLAM 方法可提供精确的相机定位，但所生成的地图缺乏语义信息。另一方面，最先进的物体检测方法可从单幅图像提供关于场景中实体的丰富信息。本工作将实时深度学习物体检测器引入单目 SLAM 框架，将通用物体表示为二次曲面，从而允许检测结果无缝集成并保持实时性能。由 CNN 网络学习的物体更精细重建也被纳入，并为二次曲面提供形状先验以进一步细化。为捕捉场景的主导结构，额外的平面路标由基于 CNN 的平面检测器检测，并作为地图中的独立路标建模。大量实验支持我们所提出的将语义物体与平面结构直接纳入 SLAM 光束法平差——语义 SLAM——的做法，其在丰富重建地图语义的同时显著改善了相机定位。我们 SLAM 系统的性能演示见 https://youtu.be/UMWXd4sHONw 与 https://youtu.be/QPQqVrvP0dE。