关于语义三维建图中的过度自信问题

语义三维建图是将多个视角下的深度与图像分割信息融合，以实时构建标注了物体类别的 3D 地图，是近期备受关注的话题。本文指出了融合过度自信问题，即传统建图方法即便出错也对整张地图赋予高置信度，导致输出未良好校准。我们提出并在 ScanNet 数据集上比较了在融合流水线不同阶段的若干改进不确定性校准的方法。我们表明，使用最广泛的贝叶斯融合策略校准最差，并提出了一种结合融合与校准的学习型流水线 GLFS，其在保持实时能力的同时实现了更高的精度与 3D 地图校准度。我们通过在模块化 ObjectNav 智能体上融入恰当的语义融合可提升其成功率，进一步说明了地图校准在下游任务中的重要性。我们的代码将在接受后于 Github 提供以保证可复现性。