OccFlowNet：通过可微渲染与占用流迈向自监督占用估计
计算机视觉与模式识别
2024-02-21 v1
摘要
语义占用作为一种重要的 3D 场景表示，近期受到了广泛关注。然而，大多数现有方法依赖于昂贵且带有细粒度 3D 体素标签的大型数据集进行训练，这限制了其实用性和可扩展性，增加了该领域对自监督学习的需求。在本工作中，我们提出了一种受神经辐射场启发的新型占用估计方法，该方法仅使用更容易获取的 2D 标签。具体而言，我们采用可微体积渲染来预测深度和语义图，并仅基于 2D 监督训练 3D 网络。为了提高几何精度并增强监督信号，我们引入了相邻时间步的时间渲染。此外，我们引入了占用流作为一种机制，用于处理场景中的动态物体并确保其时间一致性。通过大量实验，我们证明仅使用 2D 监督即可达到与使用 3D 标签的方法相当的最先进性能，同时优于并发的 2D 方法。当结合 2D 监督与 3D 标签、时间渲染和占用流时，我们显著超越了所有先前的占用估计模型。我们得出结论，所提出的渲染监督和占用流推进了占用估计的发展，并进一步缩小了该领域向自监督学习迈进的差距。
引用
@article{arxiv.2402.12792,
title = {OccFlowNet: Towards Self-supervised Occupancy Estimation via Differentiable Rendering and Occupancy Flow},
author = {Simon Boeder and Fabian Gigengack and Benjamin Risse},
journal= {arXiv preprint arXiv:2402.12792},
year = {2024}
}