DeepPanoContext：基于整体场景上下文图与基于关系优化的全景3D场景理解
计算机视觉与模式识别
2021-08-25 v1
摘要
全景图像具有大得多的视场，因此与标准透视图像相比自然编码了更丰富的场景上下文信息，然而此前的场景理解方法并未很好地利用这一点。在本文中，我们提出了一种新颖的全景3D场景理解方法，该方法从单张全视图全景图像中恢复3D房间布局以及每个物体的形状、姿态、位置和语义类别。为了充分利用丰富的上下文信息，我们设计了一种基于图神经网络的上下文模型来预测物体与房间布局之间的关系，并设计了一个可微的基于关系的优化模块，通过精心设计的目标函数即时优化物体布局。鉴于现有数据要么真值不完整，要么场景过于简化，我们提出了一个新的合成数据集，该数据集在房间布局和家具摆放方面具有良好的多样性，且图像质量逼真，适用于全面的全景3D场景理解。实验表明，我们的方法在几何精度和物体布局方面均优于现有的全景场景理解方法。代码可在 https://chengzhag.github.io/publication/dpc 获取。
引用
@article{arxiv.2108.10743,
title = {DeepPanoContext: Panoramic 3D Scene Understanding with Holistic Scene Context Graph and Relation-based Optimization},
author = {Cheng Zhang and Zhaopeng Cui and Cai Chen and Shuaicheng Liu and Bing Zeng and Hujun Bao and Yinda Zhang},
journal= {arXiv preprint arXiv:2108.10743},
year = {2021}
}
备注
Accepted by ICCV 2021