VoxelSplat：基于占用和流量预测的动态高斯溶解
计算机视觉与模式识别
2025-06-09 v1
摘要
近期摄像头基座的占用预测研究聚焦于同时预测 3D 语义和场景流，由于特定困难（如遮挡和动态环境的不平衡）而面临挑战。本文分析了这些挑战及其根本原因。为解决这些问题，我们提出一种新型正则化框架，称为 VoxelSplat。该框架利用 3D 高斯溶解的最新进展，以两种关键方式提升模型性能：（i）通过 2D 投影增强语义监督：在训练期间，我们的方法从 3D 表示中解码稀疏语义 3D 高斯，并将其投射到 2D 相机视野中。这提供了相机可见空间的额外监督信号，使 2D 标签能够改进 3D 语义的学习。（ii）场景流学习：我们的框架利用预测的场景流来建模高斯的运动，因而能够以自监督方式学习来自相邻帧标签的移动物体的场景流。我们的方法可无缝集成到各种现有占用模型中，不增加推理时间即可提升性能。大量实验在基准数据集上表明，VoxelSplat 在提高语义占用和场景流估计准确性方面具有有效作用。项目页面和代码均可在 https://zzy816.github.io/VoxelSplat-Demo/ 查阅。
引用
@article{arxiv.2506.05563,
title = {VoxelSplat: Dynamic Gaussian Splatting as an Effective Loss for Occupancy and Flow Prediction},
author = {Ziyue Zhu and Shenlong Wang and Jin Xie and Jiang-jiang Liu and Jingdong Wang and Jian Yang},
journal= {arXiv preprint arXiv:2506.05563},
year = {2025}
}
备注
Accepted by CVPR 2025 Project Page: https://zzy816.github.io/VoxelSplat-Demo/