通过 3D RGB 特征补全与逐类熵损失函数迈向平衡的 RGB-TSDF 融合以实现一致的语义场景补全
计算机视觉与模式识别
2024-11-26 v2
摘要
语义场景补全（SSC）旨在联合推断 3D 场景的语义和占用情况。截断符号距离函数（TSDF）作为深度的一种 3D 编码，一直是 SSC 的常见输入。此外，RGB-TSDF 融合看起来很有前景，因为这两种模态分别提供了颜色和几何信息。然而，RGB-TSDF 融合被认为并非易事，且常用的简单相加会导致不一致的结果。我们认为，这种不一致性源于 RGB 特征在投影到 3D 空间时的稀疏性，而 TSDF 特征是密集的，导致两者相加时产生不平衡的特征图。为了解决这种 RGB-TSDF 分布差异，我们提出了一种两阶段网络，包含一个 3D RGB 特征补全模块，该模块用有意义的值补全遮挡区域的 RGB 特征。此外，我们提出了一种有效的逐类熵损失函数来惩罚不一致性。在公共数据集上的大量实验验证了我们的方法在不采用额外数据的方法中实现了 SOTA 性能。
引用
@article{arxiv.2403.16888,
title = {Towards Balanced RGB-TSDF Fusion for Consistent Semantic Scene Completion by 3D RGB Feature Completion and a Classwise Entropy Loss Function},
author = {Laiyan Ding and Panwen Hu and Jie Li and Rui Huang},
journal= {arXiv preprint arXiv:2403.16888},
year = {2024}
}
备注
Accepted by PRCV2023