基于部件 - 整体层级消息传递的生成式 3D 部件装配
计算机视觉与模式识别
2024-03-28 v3
摘要
生成式 3D 部件装配涉及理解部件关系并预测其 6-DoF 姿态以组装出逼真的 3D 形状。先前的工作通常专注于单个部件的几何形状，而忽略了物体的部件 - 整体层级结构。利用两个关键观察结果：1) 超部件姿态为部件姿态提供了强烈提示，2) 由于超部件数量较少，预测超部件姿态更容易，我们提出了一种用于高效 3D 部件装配的部件 - 整体层级消息传递网络。我们首先通过分组几何相似的部件（无需任何语义标签）引入超部件。然后，我们采用部件 - 整体层级编码器，其中超部件编码器基于输入部件预测潜在超部件姿态。随后，我们利用潜在姿态变换点云，将其输入部件编码器以聚合超部件信息并推理部件关系，从而预测所有部件姿态。在训练中，仅需真实部件姿态。在推理过程中，预测的超部件潜在姿态增强了可解释性。在 PartNet 数据集上的实验结果表明，我们的方法在部件和连接准确性方面达到了最先进（SOTA）的性能，并实现了可解释的层级部件装配。代码可在 https://github.com/pkudba/3DHPA 获取。
引用
@article{arxiv.2402.17464,
title = {Generative 3D Part Assembly via Part-Whole-Hierarchy Message Passing},
author = {Bi'an Du and Xiang Gao and Wei Hu and Renjie Liao},
journal= {arXiv preprint arXiv:2402.17464},
year = {2024}
}