SCPNet:基于点云的语义场景补全
计算机视觉与模式识别
2023-03-14 v1
摘要
由于输入的稀疏与不完整、大量不同尺度的物体以及运动物体固有的标签噪声,训练用于语义场景补全(SSC)的深度模型具有挑战性。针对上述的问题,我们提出以下三种解决方案:1)重新设计补全子网络。我们设计了一种新颖的补全子网络,其由多个多路径块(MPB)组成以聚合多尺度特征,并且不含损的下采样操作。2)从多帧模型中蒸馏丰富知识。我们设计了一种新颖的知识蒸馏目标,称为稠密到稀疏知识蒸馏(DSKD)。它将基于关系的稠密语义知识从多帧教师模型迁移到单帧学生模型,显著提升了单帧模型的表征学习。3)补全标签修正。我们提出了一种简单而有效的标签修正策略,利用现成的全景分割标签去除补全标签中动态物体的痕迹,极大提升了深度模型的性能,尤其是针对那些运动物体。我们在两个公开SSC基准(即SemanticKITTI和SemanticPOSS)上进行了充分的实验。我们的SCPNet在SemanticKITTI语义场景补全挑战赛上排名第1,并以7.2 mIoU超越具有竞争力的S3CNet。SCPNet在SemanticPOSS数据集上也优于以往的补全算法。此外,我们的方法在SemanticKITTI语义分割任务上也取得了有竞争力的结果,表明在场景补全中学习到的知识有益于分割任务。
引用
@article{arxiv.2303.06884,
title = {SCPNet: Semantic Scene Completion on Point Cloud},
author = {Zhaoyang Xia and Youquan Liu and Xin Li and Xinge Zhu and Yuexin Ma and Yikang Li and Yuenan Hou and Yu Qiao},
journal= {arXiv preprint arXiv:2303.06884},
year = {2023}
}
备注
CVPR 2023