S4C：基于神经场的自监督语义场景补全
计算机视觉与模式识别
2023-10-13 v2
摘要
3D语义场景理解是计算机视觉中的基本挑战。它使移动智能体能够自主规划并导航任意环境。SSC将该挑战形式化为从场景的稀疏观测中联合估计稠密几何与语义信息。当前SSC方法通常基于聚合LiDAR扫描的3D真值训练。该过程依赖特殊传感器与人工标注，成本高且难以扩展。为克服此问题，我们提出首个不依赖3D真值数据的自监督SSC方法S4C。我们所提方法可从单张图像重建场景，且仅在训练时依赖视频和由现成图像分割网络生成的伪分割真值。与使用离散体素网格的现有方法不同，我们将场景表示为隐式语义场。该表述允许对相机视锥内任意点查询占据性与语义类别。我们的架构通过基于渲染的自监督损失进行训练。尽管如此，我们的方法取得了接近全监督最优方法的性能。此外，我们的方法展现出强大的泛化能力，并能为远距离视点合成准确的分割图。
引用
@article{arxiv.2310.07522,
title = {S4C: Self-Supervised Semantic Scene Completion with Neural Fields},
author = {Adrian Hayler and Felix Wimbauer and Dominik Muhle and Christian Rupprecht and Daniel Cremers},
journal= {arXiv preprint arXiv:2310.07522},
year = {2023}
}