ShAPO：面向多目标形状、外观与位姿优化的隐式表示
计算机视觉与模式识别
2022-07-28 v1 机器学习
机器人学
摘要
我们的方法研究了从单张RGB-D观测出发的以物体为中心的3D理解这一复杂任务。由于这是一个病态问题，现有方法在具有遮挡的复杂多物体场景中对3D形状及6D位姿和尺寸估计的性能均较低。我们提出ShAPO，一种用于联合多目标检测、3D带纹理重建、6D物体位姿与尺寸估计的方法。ShAPO的关键在于一个单次流水线，用于回归每个物体实例的形状、外观和位姿潜码及其掩码，随后以由疏到密的方式进一步细化。我们首先学习一个解耦的形状与外观先验数据库，将物体嵌入各自的形状与外观空间。我们还提出了一种新颖的基于八叉树的可微优化步骤，使我们能够在学习的潜空间下以分析-综合的方式同时进一步改善物体形状、位姿与外观。我们新颖的联合隐式带纹理物体表示使我们能够在无需访问其3D网格的情况下准确识别并重建未见的新物体。通过大量实验，我们表明我们的方法在模拟室内场景上训练后，仅需极少微调即可准确回归真实世界中新物体的形状、外观与位姿。我们的方法在NOCS数据集上显著优于所有基线，6D位姿估计的mAP绝对提升8%。项目页面：https://zubair-irshad.github.io/projects/ShAPO.html
引用
@article{arxiv.2207.13691,
title = {ShAPO: Implicit Representations for Multi-Object Shape, Appearance, and Pose Optimization},
author = {Muhammad Zubair Irshad and Sergey Zakharov and Rares Ambrus and Thomas Kollar and Zsolt Kira and Adrien Gaidon},
journal= {arXiv preprint arXiv:2207.13691},
year = {2022}
}
备注
Accepted to European Conference on Computer Vision (ECCV), 2022