革新开放词汇分割基准中的名称
计算机视觉与模式识别
2024-05-27 v2
摘要
名称对于人类认知和视觉-语言模型都至关重要。开放词汇模型利用类别名称作为文本提示，以泛化到训练期间未见过的类别。然而，在现有数据集中，这些名称的精确性往往被忽视。在本文中，我们通过提出一个在开放词汇分割基准中“革新”名称的框架（RENOVATE）来解决这一探索不足的问题。我们的框架具有一个重命名模型，可提高每个视觉分割名称的质量。通过实验，我们证明我们革新的名称有助于训练更强的开放词汇模型，相对改进高达15%，并通过提高数据质量显著增强训练效率。我们还表明，我们革新的名称通过更好地衡量误分类并实现细粒度的模型分析来改进评估。我们将向研究社区提供我们的代码和几个流行分割数据集（MS COCO、ADE20K、Cityscapes）的重新标注。
引用
@article{arxiv.2403.09593,
title = {Renovating Names in Open-Vocabulary Segmentation Benchmarks},
author = {Haiwen Huang and Songyou Peng and Dan Zhang and Andreas Geiger},
journal= {arXiv preprint arXiv:2403.09593},
year = {2024}
}