Find Any Part in 3D
计算机视觉与模式识别
2025-03-31 v2
摘要
为何我们还没有 3D 基础模型呢？一个关键限制是数据稀缺。对于 3D 物体部件分割，现有数据集规模较小且缺乏多样性。我们展示了可以通过构建由 2D 基础模型驱动的数据引擎来打破这一数据障碍的可能性。我们的数据引擎自动为任何数量的物体部件提供标注：比现有数据集组合多出 1755 倍的独特部件类型。通过在我们标注的数据上进行训练并采用简单的对比目标，我们获得了一个能够基于任意文本查询对任意对象中的任何部件进行泛化的开放式模型。即使在零样本评估下，我们也在它们训练的数据集上超越现有方法。我们实现了 mIoU 提升 260%，将速度提升 6 倍至 300 倍。我们的规模分析确认，这种泛化性源于数据规模，这凸显了数据引擎的影响。最后，为了推进通用类别的开放式 3D 部件分割，我们发布了一个覆盖广泛物体和部件的基准数据集。项目网站：https://ziqi-ma.github.io/find3dsite/
引用
@article{arxiv.2411.13550,
title = {Find Any Part in 3D},
author = {Ziqi Ma and Yisong Yue and Georgia Gkioxari},
journal= {arXiv preprint arXiv:2411.13550},
year = {2025}
}
备注
Project website: https://ziqi-ma.github.io/find3dsite/