基于多特征数据平衡网络的语义场景完成
计算机视觉与模式识别
2024-12-03 v1
摘要
语义场景完成（SSC）是计算机视觉中的一个关键任务，已用于虚拟现实（VR）等应用。SSC旨在通过将单个2D图像转换为3D表示，从部分视图构建出详细的3D模型，为每个体素分配语义标签。主要挑战在于在信息有限的情况下完成3D体积，同时存在室内场景中的数据不平衡、类别间歧义和类别内多样性问题。为此，我们提出了多特征数据平衡网络（MDBNet），一个针对RGB和深度数据（F-TSDF）输入的双头模型。我们采用带有恒等变换的预激活残差模块（ITRM）的混合编码器-解码器架构，有效地管理F-TSDF中的多样化信号。我们评估了RGB特征融合策略，并使用交叉熵损失函数处理2D RGB特征，使用加权交叉熵处理3D SSC预测。在NYU数据集上，MDBNet的结果超过了 comparable 的最新方法（SOTA），证明了我们方法的有效性。
引用
@article{arxiv.2412.01431,
title = {Semantic Scene Completion with Multi-Feature Data Balancing Network},
author = {Mona Alawadh and Mahesan Niranjan and Hansung Kim},
journal= {arXiv preprint arXiv:2412.01431},
year = {2024}
}