通过观察进行 3D 重建：基于混合现实的室内 SLAM 瞬时盲点检测器

室内 SLAM 常受场景漂移、双重墙壁和盲点等问题的困扰，尤其是在传感器（如 LiDAR 和相机）附近有近距离物体的狭窄空间重建任务中。在数据采集过程中实时可视化点云配准可能有助于缓解这些问题，但一个显著的局限性在于无法将扫描数据与实际物理环境进行深入比较。这些挑战阻碍了重建产品的质量，经常需要返工和重新扫描。为此，我们开发了 LiMRSF（LiDAR-MR-RGB 传感器融合）系统，允许用户通过混合现实（MR）头显观察来感知原位点云配准。这一定制框架将点云网格可视化为全息图，在透视眼镜上与实时场景无缝匹配，并在重叠时自动突出显示检测到的错误。这些全息元素通过 TCP 服务器传输到 MR 头显，并在其中进行校准以与世界坐标（即物理位置）对齐。这允许用户瞬时查看定位的重建产品，使他们能够快速识别盲点和错误，并在现场采取即时行动。我们的盲点检测器实现了 75.76% 的 F1 分数错误检测精度，并通过 LiMRSF 系统保持了可接受的高保真度监控（在用户通过 LiMRSF 设备透视眼镜可视化的简化网格模型的五个不同部分中，最高 SSIM 为 0.5619，PSNR 为 14.1004，最低 MSE 为 0.0389）。该方法确保了 3D 模型详细、高质量数据集的创建，在建筑信息模型（BIM）中具有潜在应用，但不限于此。