面向即时细粒度类别发现的原型哈希编码
计算机视觉与模式识别
2024-12-10 v2
摘要
本文研究一个实用且具挑战性的任务，即即时类别发现，旨在仅利用标注数据中包含的已知类别知识，在线发现属于已知和未知类别的流式新数据。以往的OCD方法采用基于哈希的技术，通过哈希码表示新旧类别以进行逐实例推理。然而，直接将特征映射到低维哈希空间不仅不可避免地损害了区分类别的能力，还导致了“高敏感性”问题，尤其是对于细粒度类别，从而导致性能不佳。为解决这些问题，我们提出了一种新颖的原型哈希编码框架，包含类别感知原型生成和判别性类别编码，以两阶段投影的方式缓解哈希码敏感性的同时，保留高维特征空间中蕴含的丰富判别信息。CPG使模型能够通过用多个原型表示每个类别来充分捕获类内多样性。DCE在生成的类别原型指导和最小分离距离约束下提升哈希码的判别能力。通过联合优化CPG和DCE，我们证明了这两个组件对于有效的OCD是互利的。大量实验表明，我们的PHE相比以往方法具有显著优越性，例如在所有数据集上平均ALL ACC提升了+5.3%。此外，由于具有可解释原型的特性，我们直观分析了PHE如何将特定样本归入已知或未知类别的内在机制。代码可在 https://github.com/HaiyangZheng/PHE 获取。
引用
@article{arxiv.2410.19213,
title = {Prototypical Hash Encoding for On-the-Fly Fine-Grained Category Discovery},
author = {Haiyang Zheng and Nan Pu and Wenjing Li and Nicu Sebe and Zhun Zhong},
journal= {arXiv preprint arXiv:2410.19213},
year = {2024}
}
备注
Accepted by NeurIPS 2024