SliceOcc: 基于垂直切片表示的室内三维语义占用预测
计算机视觉与模式识别
2025-01-29 v1
摘要
三维语义占用预测是视觉感知中的一项关键任务，因为它需要同时理解场景几何和语义。它在理解三维场景中起着至关重要的作用，并在机器人视觉感知和自动驾驶等应用中具有巨大潜力。许多现有工作利用基于平面的表示，如鸟瞰图（BEV）和三视角图（TPV）。这些表示旨在简化三维场景的复杂性，同时保留关键物体信息，从而促进高效的场景表示。然而，在遮挡普遍存在的密集室内环境中，直接应用这些基于平面的方法通常难以捕捉全局语义占用，最终降低模型性能。在本文中，我们提出了一种新的垂直切片表示，该表示沿垂直轴划分场景，并将空间点特征投影到最近的一对平行平面上。为了利用这些切片特征，我们提出了SliceOcc，一种专门针对室内三维语义占用预测的基于RGB相机的模型。SliceOcc利用成对的切片查询和交叉注意力机制从输入图像中提取平面特征。然后将这些局部平面特征融合形成全局场景表示，用于室内占用预测。在EmbodiedScan数据集上的实验结果表明，SliceOcc在81个室内类别上实现了15.45%的mIoU，在基于RGB相机的室内三维语义占用预测模型中达到了新的最先进性能。代码可在https://github.com/NorthSummer/SliceOcc获取。
引用
@article{arxiv.2501.16684,
title = {SliceOcc: Indoor 3D Semantic Occupancy Prediction with Vertical Slice Representation},
author = {Jianing Li and Ming Lu and Hao Wang and Chenyang Gu and Wenzhao Zheng and Li Du and Shanghang Zhang},
journal= {arXiv preprint arXiv:2501.16684},
year = {2025}
}
备注
Accepted by ICRA 2025;