OV-PARTS：面向开放词汇部件分割
计算机视觉与模式识别
2023-10-10 v1
摘要
分割并识别多样的对象部件是跨越各类计算机视觉与机器人任务应用中的关键能力。尽管在对象级开放词汇语义分割（OVSS，即用语任意文本分割对象）方面已取得显著进展，相应的部件级研究带来了额外挑战。首先，部件分割固有地涉及复杂边界，而有限的标注数据加剧了该挑战。其次，由于开放世界中部件定义多样且常模糊，部件分割引入了开放粒度挑战。此外，在开放词汇设定中起关键作用的大规模视觉与语言模型，难以像识别对象那样有效地识别部件。为全面研究并应对这些挑战，我们提出了开放词汇部件分割（OV-PARTS）基准。OV-PARTS包含对两个公开数据集的精炼版本：Pascal-Part-116和ADE20K-Part-234。它涵盖三项具体任务：广义零样本部件分割、跨数据集部件分割和小样本部件分割，为模型的类比推理、开放粒度和小样本适应能力提供见解。此外，我们分析并适配了现有对象级OVSS方法的两种主流范式用于OV-PARTS。我们进行了广泛的实验分析以启发未来利用基础模型进行OV-PARTS的研究。代码与数据集可在 https://github.com/OpenRobotLab/OV_PARTS 获取。
引用
@article{arxiv.2310.05107,
title = {OV-PARTS: Towards Open-Vocabulary Part Segmentation},
author = {Meng Wei and Xiaoyu Yue and Wenwei Zhang and Shu Kong and Xihui Liu and Jiangmiao Pang},
journal= {arXiv preprint arXiv:2310.05107},
year = {2023}
}
备注
Accepted by NeurIPS Dataset and Benchmark Track 2023