HoloPart:生成式 3D 部件非模态分割
计算机视觉与模式识别
2025-04-11 v1
摘要
3D 部件非模态分割——即使在被遮挡的情况下也将 3D 形状分解为完整的、语义有意义的部件——是 3D 内容创建与理解中一项具有挑战性但至关重要的任务。现有的 3D 部件分割方法仅识别可见表面块,限制了其效用。受 2D 非模态分割启发,我们将这一新任务引入 3D 领域,并提出了一种实用的两阶段方法,解决了推断被遮挡 3D 几何形状、保持全局形状一致性以及处理训练数据有限时的多样形状等关键挑战。首先,我们利用现有的 3D 部件分割来获取初始的、不完整的部件分割。其次,我们引入了 HoloPart,一种新颖的基于扩散的模型,将这些分割补全为完整的 3D 部件。HoloPart 利用具有局部注意力的专门架构来捕获细粒度的部件几何形状,并利用全局形状上下文注意力来确保整体形状一致性。我们基于 ABO 和 PartObjaverse-Tiny 数据集引入了新的基准,并证明 HoloPart 显著优于 SOTA 形状补全方法。通过将 HoloPart 与现有分割技术结合,我们在 3D 部件非模态分割上取得了有希望的结果,为几何编辑、动画和材质分配的应用开辟了新途径。
引用
@article{arxiv.2504.07943,
title = {HoloPart: Generative 3D Part Amodal Segmentation},
author = {Yunhan Yang and Yuan-Chen Guo and Yukun Huang and Zi-Xin Zou and Zhipeng Yu and Yangguang Li and Yan-Pei Cao and Xihui Liu},
journal= {arXiv preprint arXiv:2504.07943},
year = {2025}
}
备注
Project Page: https://vast-ai-research.github.io/HoloPart