走出相似语义空间：开放词汇分割基准
计算机视觉与模式识别
2025-06-25 v2
摘要
开放词汇分割旨在通过给定的任意类别文本输入实现分割。为此，近期研究聚焦于开发多种技术路线，利用大规模预训练视觉语言模型的潜力，并在现有基准上取得显著进展。然而，我们发现现有测试集在衡量模型对“开放词汇”概念理解能力方面受限，其语义空间与训练空间接近，即使有许多重叠类别。为此，我们提出了新的基准测试集OpenBench，与训练语义显著不同，旨在更好地评估模型理解和分割广泛真实世界概念的能力。在对现有方法在OpenBench上进行测试时，我们发现其表现与现有测试集得出的结论不同。此外，我们提出了一种名为OVSNet的方法，以提高对多样化和开放场景的分割性能。通过对异构特征的精细融合和对训练空间的无成本扩展，OVSNet在现有数据集和我们提出的OpenBench上均实现了最先进的结果。相应的分析证明了我们提出基准和方法的合理性和有效性。
引用
@article{arxiv.2506.16058,
title = {Stepping Out of Similar Semantic Space for Open-Vocabulary Segmentation},
author = {Yong Liu and SongLi Wu and Sule Bai and Jiahao Wang and Yitong Wang and Yansong Tang},
journal= {arXiv preprint arXiv:2506.16058},
year = {2025}
}