SIMstack：一种面向无序物体堆叠的生成式形状与实例模型
计算机视觉与模式识别
2021-09-28 v2
摘要
通过从单视图估计三维形状与实例，我们能够快速捕获环境信息，而无需进行全面的扫描与多视图融合。对于复合场景（如物体堆叠）解决该任务具有挑战性：遮挡区域不仅在形状上模糊，在实例分割上同样模糊；多种分解方式均可能成立。我们观察到，物理约束了遮挡区域的分解与形状，并假设从物理仿真下构建的场景中学习到的潜空间可作为先验，以更好地预测遮挡区域的形状与实例。为此，我们提出 SIMstack，一种以深度图条件化的变分自编码器（VAE），在物理仿真下堆叠物体的数据集上训练。我们将实例分割表述为中心投票任务，从而支持类无关的探测，且无需设定场景中物体的最大数量。在测试时，我们的模型可从单张深度视图生成三维形状与实例分割，并从学习到的潜空间中对遮挡区域建议进行概率性采样。我们的方法在实际中具有应用价值，可为机器人提供人类所具备的对部分观测场景进行快速直觉推断的部分能力。我们展示了一种从单张深度视图对未知物体进行精确（非破坏性）抓取的应用。
引用
@article{arxiv.2103.16442,
title = {SIMstack: A Generative Shape and Instance Model for Unordered Object Stacks},
author = {Zoe Landgraf and Raluca Scona and Tristan Laidlow and Stephen James and Stefan Leutenegger and Andrew J. Davison},
journal= {arXiv preprint arXiv:2103.16442},
year = {2021}
}