并非所有体素等价:从点-体素视角看语义场景补全
计算机视觉与模式识别
2023-03-21 v2
摘要
本文中我们重访语义场景补全(SSC)——一项预测3D场景语义与占据表示的实用任务。该任务的诸多方法始终基于体素化场景表示以保持局部场景结构。然而,由于可见空体素的存在,这些方法在网络加深时总遭受沉重计算冗余,从而限制了补全质量。为化解此困境,我们提出用于该任务的新颖点-体素聚合网络。首先,我们通过移除这些可见空体素将体素化场景转为点云,并采用深层点流高效捕捉场景语义信息。同时,仅含两层3D卷积层的轻量体素流保留体素化场景的局部结构。此外,我们设计各向异性体素聚合算子将体素流的结构细节融合进点流,以及语义感知传播模块通过语义标签增强点流中的上采样过程。我们证明,仅以深度图像作为输入,我们的模型在两大基准上大幅超越现有最优方法。
引用
@article{arxiv.2112.12925,
title = {Not All Voxels Are Equal: Semantic Scene Completion from the Point-Voxel Perspective},
author = {Xiaokang Chen and Jiaxiang Tang and Jingbo Wang and Gang Zeng},
journal= {arXiv preprint arXiv:2112.12925},
year = {2023}
}
备注
Accepted to AAAI 2022