基于4D动态点云序列的语义完整场景预测

在这项工作中，我们研究了一个新的语义完整场景预测（SCSF）问题。给定一个4D动态点云序列，我们的目标是预测对应于未来下一帧的完整场景及其语义标签。为了解决这个具有挑战性的问题，我们通过一个名为SCSFNet的新颖网络，正确地建模了未来预测与语义场景补全之间的协同关系。SCSFNet利用混合几何表示进行高分辨率完整场景预测。为了利用多帧观测以及对场景动态的理解来简化补全任务，SCSFNet引入了基于注意力的跳跃连接方案。为了简化对遮挡变化建模的需求并更好地关注被遮挡的部分，SCSFNet利用辅助可见性网格来指导预测任务。为了评估SCSFNet的有效性，我们在各种基准上进行了实验，包括我们贡献的两个大规模室内基准以及室外SemanticKITTI基准。大量实验表明，SCSFNet在多个指标上大幅优于基线方法，并证明了未来预测与语义场景补全之间的协同作用。