3x2：通过 2D 语义对应实现 3D 物体部件分割
计算机视觉与模式识别
2024-07-16 v1
摘要
3D 物体部件分割是计算机视觉中的关键任务。虽然在 2D 物体部件分割方面取得了显著进展，但 3D 对应领域受到关注不足，部分原因是 3D 标注数据稀缺且收集成本高昂。本文提出利用少量标注的 3D 形状或丰富标注的 2D 数据集来实现 3D 物体部件分割。我们提出了一种新方法，称为 3-By-2，在不同粒度水平上实现了 SOTA 水平。通过使用来自预训练基础模型的特征并利用语义和几何对应，我们能够克服 3D 标注稀缺的挑战。我们的方法利用可用的 2D 标签，实现了有效的 3D 物体部件分割。我们的方法 3-By-2 可以适应各种部件分类和粒度，展示了在不同对象类别之间进行有趣的部件标签迁移能力。项目网站：https://ngailapdi.github.io/projects/3by2/。
引用
@article{arxiv.2407.09648,
title = {3x2: 3D Object Part Segmentation by 2D Semantic Correspondences},
author = {Anh Thai and Weiyao Wang and Hao Tang and Stefan Stojanov and Matt Feiszli and James M. Rehg},
journal= {arXiv preprint arXiv:2407.09648},
year = {2024}
}
备注
Accepted to ECCV 2024