理解开放词汇部件分割中的多粒度性
计算机视觉与模式识别
2024-12-09 v3
摘要
开放词汇部件分割（OVPS）是一个新兴的研究领域，专注于使用多样且未见过的词汇表分割细粒度实体。我们的研究强调了由于复杂的边界和多样的粒度，部件分割固有的复杂性，反映了部件识别的基于知识的性质。为了应对这些挑战，我们提出了PartCLIPSeg，一个利用广义部件和对象级上下文来缓解细粒度部件泛化能力不足的新颖框架。PartCLIPSeg整合了竞争性部件关系和注意力控制，缓解了模糊边界和代表性不足的部件。实验结果表明，PartCLIPSeg优于现有的最先进OVPS方法，提供了精细的分割和对图像内部件关系的高级理解。通过大量实验，我们的模型在Pascal-Part-116、ADE20K-Part-234和PartImageNet数据集上相比最先进模型表现出显著改进。
引用
@article{arxiv.2406.11384,
title = {Understanding Multi-Granularity for Open-Vocabulary Part Segmentation},
author = {Jiho Choi and Seonho Lee and Seungho Lee and Minhyun Lee and Hyunjung Shim},
journal= {arXiv preprint arXiv:2406.11384},
year = {2024}
}
备注
NeurIPS 2024