PartSTAD:2D 到 3D 部件分割任务自适应
计算机视觉与模式识别
2024-07-22 v3
摘要
我们提出了 PartSTAD,一种为 2D 到 3D 分割提升的任务自适应而设计的方法。近期研究强调了利用 2D 分割模型通过小样本自适应实现高质量 3D 分割的优势。然而,先前的方法侧重于使 2D 分割模型适应渲染图像和合成文本描述的领域偏移,而非专门为 3D 分割优化模型。我们提出的任务自适应方法使用面向 3D 分割的目标函数微调 2D 边界框预测模型。我们为 2D 边界框引入权重以实现自适应合并,并使用一个小型附加神经网络学习这些权重。此外,我们整合了 SAM(一个作用于边界框的前景分割模型),以改善 2D 分割的边界,从而改善 3D 分割的边界。我们在 PartNet-Mobility 数据集上的实验表明,我们的任务自适应方法取得了显著改进,与当前最先进的小样本 3D 分割模型相比,语义和实例分割的 mIoU 提高了 7.0 个百分点,mAP@50 提高了 5.2 个百分点。
引用
@article{arxiv.2401.05906,
title = {PartSTAD: 2D-to-3D Part Segmentation Task Adaptation},
author = {Hyunjin Kim and Minhyuk Sung},
journal= {arXiv preprint arXiv:2401.05906},
year = {2024}
}
备注
Accepted to ECCV 2024