基于基元图网络的单图像三维物体估计
计算机视觉与模式识别
2021-09-10 v1 机器学习
摘要
从单张图像（RGB或深度）重建三维物体是视觉场景理解中的一个基本问题，但由于其不适定性和真实场景的复杂性，仍然具有挑战性。为了应对这些挑战，我们采用了一种基于基元的三维物体表示方法，并提出了一种用于基于基元的三维物体估计的两阶段图网络，该网络由一个序列化提议模块和一个图推理模块组成。给定一张二维图像，我们的提议模块首先利用局部特征注意力从输入图像生成一系列三维基元。然后，图推理模块在基元图上进行联合推理，以捕获每个基元的全局形状上下文。这种框架能够在三维结构恢复过程中考虑丰富的几何和语义约束，即使在具有挑战性的视角条件下也能生成结构更连贯的三维物体。我们采用分阶段策略训练整个图神经网络，并在三个基准数据集上进行了评估：Pix3D、ModelNet和NYU Depth V2。大量实验表明，我们的方法以相当大的优势超越了以往的最先进技术。
引用
@article{arxiv.2109.04153,
title = {Single Image 3D Object Estimation with Primitive Graph Networks},
author = {Qian He and Desen Zhou and Bo Wan and Xuming He},
journal= {arXiv preprint arXiv:2109.04153},
year = {2021}
}
备注
Accepted by ACM MM'21