SATR：三维形状的零样本语义分割
计算机视觉与模式识别
2023-08-22 v2
摘要
我们探索利用大规模现成2D图像识别模型进行三维形状零样本语义分割的任务。令人惊讶的是，我们发现现代零样本2D目标检测器比当代文本/图像相似度预测器甚至零样本2D分割网络更适用于此任务。我们的关键发现是：利用底层表面的拓扑性质，可从多视图边界框预测中提取精确的三维分割图。为此，我们开发了具有拓扑重加权机制的分割指派（SATR）算法，并在ShapeNetPart与我们提出的FAUST基准上评估。SATR取得了最先进性能，在FAUST粗粒度与细粒度基准上分别比基线算法平均mIoU高出1.3%与4%，在ShapeNetPart基准上高出5.2%平均mIoU。我们的源代码与数据将公开发布。项目主页：https://samir55.github.io/SATR/。
引用
@article{arxiv.2304.04909,
title = {SATR: Zero-Shot Semantic Segmentation of 3D Shapes},
author = {Ahmed Abdelreheem and Ivan Skorokhodov and Maks Ovsjanikov and Peter Wonka},
journal= {arXiv preprint arXiv:2304.04909},
year = {2023}
}
备注
Project webpage: https://samir55.github.io/SATR/