基于更干净自我的语义场景补全
计算机视觉与模式识别
2023-03-20 v1
摘要
语义场景补全（SSC）将单视图深度和/或RGB的2D像素图像转换为3D体素，并预测每个体素的语义标签。SSC是著名的病态问题，因为预测模型必须“想象”可见表面之后的内容，这通常由截断符号距离函数（TSDF）表示。由于深度相机的感知缺陷，大多数基于从深度值估计的含噪TSDF的现有方法饱受1）不完整的体素预测与2）混淆的语义标签之苦。为此，我们利用真实3D体素生成完美的可见表面，称为TSDF-CAD，然后训练一个“更干净”的SSC模型。由于该模型无噪声，预期其更专注于对不可见体素的“想象”。接着，我们提出将中间的“更干净”知识蒸馏至另一使用含噪TSDF输入的模型。具体而言，我们利用“更干净自我”的3D占用特征与语义关系分别监督“含噪自我”的对应部分，以分别解决上述两种错误预测。实验结果验证我们的方法在场景补全与SSC度量上分别以3.1% IoU和2.2% mIoU改进了含噪对应模型，并在流行的NYU数据集上达到新的最先进精度。
引用
@article{arxiv.2303.09977,
title = {Semantic Scene Completion with Cleaner Self},
author = {Fengyun Wang and Dong Zhang and Hanwang Zhang and Jinhui Tang and Qianru Sun},
journal= {arXiv preprint arXiv:2303.09977},
year = {2023}
}