基于记忆引导一致性对比学习的视频广义类别发现
计算机视觉与模式识别
2025-09-09 v1
摘要
广义类别发现 (GCD) 是一个新兴且具有挑战性的开放世界问题，近年来引起了越来越多的关注。大多数现有的 GCD 方法专注于在静态图像中发现类别。然而，仅依赖静态视觉内容往往不足以可靠地发现新类别。为弥补这一差距，我们将 GCD 问题扩展到视频领域，并引入了一种新的设置，称为视频 GCD。因此，有效整合跨时间的多元信息对于准确的视频 GCD 至关重要。为应对这一挑战，我们提出了一种新的记忆引导一致性对比学习 (MCCL) 框架，该框架显式捕获时空线索并通过一致性引导投票机制将其融入对比学习。MCCL 包含两个核心组件：一致性感知对比学习 (CACL) 和记忆引导表示增强 (MGRE)。CACL 利用多元时间特征估计未标记实例之间的一致性分数，然后据此加权对比损失。MGRE 引入了一个双级记忆缓冲区，同时维护特征级和逻辑级表示，提供全局上下文以增强类内紧凑性和类间可分离性。这反过来又细化了 CACL 中的一致性估计，在表示学习和一致性建模之间形成了相互强化的反馈循环。为便于全面评估，我们构建了一个新的具有挑战性的视频 GCD 基准，包括动作识别和视频鸟类分类数据集。大量实验表明，我们的方法显著优于从图像设置适配而来的竞争性 GCD 方法，凸显了时间信息在视频中发现新类别的重要性。代码将公开发布。
引用
@article{arxiv.2509.06306,
title = {Video-based Generalized Category Discovery via Memory-Guided Consistency-Aware Contrastive Learning},
author = {Zhang Jing and Pu Nan and Xie Yu Xiang and Guo Yanming and Lu Qianqi and Zou Shiwei and Yan Jie and Chen Yan},
journal= {arXiv preprint arXiv:2509.06306},
year = {2025}
}