Shape-Net：利用以三维形状为额外输入的知识蒸馏从全景图像中稳健估计受遮挡影响的房间布局
计算机视觉与模式识别
2023-04-26 v1
摘要
从单张全景图像估计房间布局在虚拟现实/增强现实以及家具布局仿真中十分重要。这涉及识别三维（3D）几何结构（如角点和边界的位置）并进行三维重建。然而，遮挡是一个常见问题，会对房间布局估计产生负面影响，迄今为止尚未得到充分研究。从图像数据集中可以获取房间的三维形状信息（如建筑图纸和角点坐标），因此我们提出将二维全景信息与三维信息一同提供给模型，以有效应对遮挡。然而，仅将三维信息输入模型不足以利用形状信息来处理被遮挡区域。为此，我们通过引入三维交并比（IoU）损失来改进模型，以有效利用三维信息。在某些情况下，图纸不可用或实际构造与图纸不符。考虑到这类实际情形，我们提出一种方法，将使用图像和三维信息训练的模型的知识蒸馏到仅以图像为输入的模型中。所提出的模型称为 Shape-Net，在基准数据集上达到了最先进（SOTA）性能。我们还通过与现有模型相比在含遮挡图像上精度显著提升，证实了其在处理遮挡方面的有效性。
引用
@article{arxiv.2304.12624,
title = {Shape-Net: Room Layout Estimation from Panoramic Images Robust to Occlusion using Knowledge Distillation with 3D Shapes as Additional Inputs},
author = {Mizuki Tabata and Kana Kurata and Junichiro Tamamatsu},
journal= {arXiv preprint arXiv:2304.12624},
year = {2023}
}
备注
Accepted by CVPR2023 workshop (CIVILS)