LangHOPS：语言导向的层次开放词汇部件分割
计算机视觉与模式识别
2026-01-13 v3
摘要
我们提出LangHOPS，是首个基于多模态大语言模型（MLLM）的框架，用于开放词汇对象-部件实例分割。给定图像，LangHOPS 可联合检测和分割来自开放词汇候选类别中的层次化对象和部件实例。不同于依赖启发式或可学习视觉分组的先前方法，我们的方法将对象-部件层次结构 grounding 在语言空间。它将 MLLM 集成到对象-部件解析管道中，以利用其丰富的知识和推理能力，并链接层次结构中的多粒度概念。我们在多个具有挑战性的场景中评估了LangHOPS，包括领域内和跨数据集的对象-部件实例分割，以及零样本语义分割。LangHOPS 在 PartImageNet 数据集上的平均精度（AP）提升了 5.5%（领域内）和 4.8%（跨数据集），在 ADE20K 上未见对象部件的零样本分割中 mIOU 提升 2.5%。消融研究进一步验证了语言导向的层次结构和 MLLM 驱动的部件查询细化策略的有效性。代码将在此发布。
引用
@article{arxiv.2510.25263,
title = {LangHOPS: Language Grounded Hierarchical Open-Vocabulary Part Segmentation},
author = {Yang Miao and Jan-Nico Zaech and Xi Wang and Fabien Despinoy and Danda Pani Paudel and Luc Van Gool},
journal= {arXiv preprint arXiv:2510.25263},
year = {2026}
}
备注
10 pages, 5 figures, 14 tables, Neurips 2025