从单张 RGB 图像进行整体 3D 场景解析与重建
计算机视觉与模式识别
2018-08-08 v1
摘要
我们提出一个计算框架，利用随机文法模型联合解析单张 RGB 图像并重建由一组 CAD 模型组成的整体 3D 配置。具体而言，我们引入整体场景文法（HSG）来表示 3D 场景结构，其刻画了室内场景在功能与几何空间上的联合分布。所提出的 HSG 捕捉了室内场景三个本质且常隐的维度：i) 隐式人类上下文，描述房间布置的可供性与功能性；ii) 场景配置上的几何约束；iii) 保证物理上合理解析与重建的物理约束。我们以分析-综合的方式解决该联合解析与重建问题，在深度、表面法线和物体分割图的空间上，寻求最小化输入图像与由我们的 3D 表示生成的图像之间的差异。最优配置由解析图表示，使用马尔可夫链蒙特卡洛（MCMC）推断，其高效遍历不可微解空间，联合优化物体定位、3D 布局与隐藏人类上下文。实验结果表明，所提算法提升了泛化能力，并在 3D 布局估计、3D 物体检测和整体场景理解上显著优于先前方法。
引用
@article{arxiv.1808.02201,
title = {Holistic 3D Scene Parsing and Reconstruction from a Single RGB Image},
author = {Siyuan Huang and Siyuan Qi and Yixin Zhu and Yinxue Xiao and Yuanlu Xu and Song-Chun Zhu},
journal= {arXiv preprint arXiv:1808.02201},
year = {2018}
}
备注
Accepted by ECCV 2018