重新审视广义类别发现中的互信息最大化
计算机视觉与模式识别
2024-06-03 v1
摘要
广义类别发现在现实场景中提出了挑战，要求模型具备识别已知和未知类别未标注样本的泛化能力。本文通过概率参数分类器的信息最大化视角重新审视广义类别发现的挑战。我们的发现表明，确保已知和未知类别之间的独立性，同时假设所有类别上的均匀概率分布，会增大已知和未知类别之间的间隔，从而提升模型性能。为了实现上述独立性，我们提出了一种基于信息最大化的新方法——正则化参数信息最大化（RPIM），该方法在信息最大化过程中采用伪标签来监督未标注样本，同时提出一种正则化来保证伪标签的质量。此外，我们引入了新颖的语义偏置变换来精炼预训练模型的特征，而非直接微调，以节省计算成本。在六个基准数据集上的大量实验验证了我们方法的有效性。RPIM显著提升了未知类别的性能，平均超过最先进方法3.5%。
引用
@article{arxiv.2405.20711,
title = {Revisiting Mutual Information Maximization for Generalized Category Discovery},
author = {Zhaorui Tan and Chengrui Zhang and Xi Yang and Jie Sun and Kaizhu Huang},
journal= {arXiv preprint arXiv:2405.20711},
year = {2024}
}
备注
Preprint version