多粒度概念专家驱动的通用细粒度类别发现
计算机视觉与模式识别
2025-10-01 v1
摘要
通用类别发现(GCD)是一个面向开放世界的问题，通过利用部分已标记类别的知识来聚类未标记数据。一个关键挑战是：未标记数据可能包含已知和新类别。现有方法存在两个主要局限：其一，未能利用视觉数据中的多粒度概念信息，限制了表征质量；其二，大多数方法假设在训练期间已知未标记类别的数量，这在现实场景中不实用。为此，我们提出一种多粒度概念专家(MGCE)框架，通过自适应挖掘视觉概念并集成多粒度知识实现精准类别发现。MGCE包含两个模块：(1)动态概念对比学习(DCCL)，在概念挖掘和双层表征学习之间交替，以联合优化特征学习和类别发现；(2)多粒度专家协作学习(MECL)，通过引入不同粒度的额外专家，并运用概念对齐矩阵实现有效的跨专家协作。重要的是，MGCE可自动估计未标记数据中的类别数量，适用于实际开放世界环境。广泛实验在九个细粒度视觉识别基准上表明，MGCE取得了最新结果，尤其在新类别准确率方面表现突出。值得一提的是，即便无需类别数量先验知识，MGCE也超越需要精确类别数量的参数化方法，平均提升3.6%。代码已公开于https://github.com/HaiyangZheng/MGCE。
引用
@article{arxiv.2509.26227,
title = {Generalized Fine-Grained Category Discovery with Multi-Granularity Conceptual Experts},
author = {Haiyang Zheng and Nan Pu and Wenjing Li and Nicu Sebe and Zhun Zhong},
journal= {arXiv preprint arXiv:2509.26227},
year = {2025}
}