NDC-Scene：在归一化设备坐标空间中提升单目 3D 语义场景补全
计算机视觉与模式识别
2023-10-13 v3
摘要
单目 3D 语义场景补全（SSC）因有望从单张图像预测复杂语义与几何形状且无需 3D 输入，近年来受到显著关注。在本文中，我们指出了当前最先进方法中的若干关键问题，包括投射到 3D 空间的射线中 2D 特征的特征模糊性、3D 卷积的位姿模糊性，以及 3D 卷积在不同深度层级间的计算不平衡。为解决这些问题，我们设计了一种新颖的归一化设备坐标场景补全网络（NDC-Scene），其通过反卷积操作逐步恢复深度维度，将 2D 特征图直接扩展到归一化设备坐标（NDC）空间，而非直接扩展到世界空间。实验结果表明，将大部分计算从目标 3D 空间转移到所提出的归一化设备坐标空间有利于单目 SSC 任务。此外，我们设计了一种深度自适应双解码器，同时上采样并融合 2D 与 3D 特征图，进一步提升整体性能。我们的大量实验证实，所提方法在室外 SemanticKITTI 与室内 NYUv2 数据集上均持续优于最先进方法。我们的代码可在 https://github.com/Jiawei-Yao0812/NDCScene 获取。
引用
@article{arxiv.2309.14616,
title = {NDC-Scene: Boost Monocular 3D Semantic Scene Completion in Normalized Device Coordinates Space},
author = {Jiawei Yao and Chuming Li and Keqiang Sun and Yingjie Cai and Hao Li and Wanli Ouyang and Hongsheng Li},
journal= {arXiv preprint arXiv:2309.14616},
year = {2023}
}
备注
Accepted at ICCV 2023. Project page: https://jiawei-yao0812.github.io/NDC-Scene/