从点到多物体三维重建
计算机视觉与模式识别
2021-06-23 v3
摘要
我们提出一种从单张 RGB 图像检测并重建多个 3D 物体的方法。核心思想是在 RGB 图像中所有物体上联合优化检测、对齐与形状，同时关注真实且物理上合理的重建。为此，我们提出一个关键点检测器，将物体定位为中心点并直接预测所有物体属性，包括 9 自由度边界框与 3D 形状——均在一次前向传播中完成。所提方法将 3D 形状重建表述为形状选择问题，即它从给定数据库中的示例形状里进行选择。这使其与形状表示无关，从而能够基于 CAD 模型实现轻量级的真实且视觉悦目的形状重建，而训练目标围绕点云与体素表示构建。碰撞损失促进物体互不相交，进一步提升重建真实感。给定 RGB 图像，本方法在单阶段完成轻量级重建，具备实时能力、完全可微且端到端可训练。我们的实验比较了多种 9 自由度边界框估计方法，评估了新颖的形状选择机制，并在 3D 边界框估计与 3D 形状重建质量方面与近期方法进行比较。
引用
@article{arxiv.2012.11575,
title = {From Points to Multi-Object 3D Reconstruction},
author = {Francis Engelmann and Konstantinos Rematas and Bastian Leibe and Vittorio Ferrari},
journal= {arXiv preprint arXiv:2012.11575},
year = {2021}
}
备注
CVPR2021 - Project Page: https://francisengelmann.github.io/points2objects/