释放模型偏置潜力以用于广义类别发现
机器学习
2024-12-18 v1 计算与语言
计算机视觉与模式识别
摘要
广义类别发现是一项重要且复杂的任务,旨在利用仅包含已知类别的另一个标注数据集,从一组未标注数据中识别已知类别和未定义的新类别。主要挑战源于仅在已知类别上进行预训练所导致的模型偏置,以及对新类别缺乏精确监督,这导致模型偏向已知类别的类别偏置以及不同新类别间的类别混淆,阻碍了模型有效识别新类别的能力。为了应对这些挑战,我们提出了一种名为自去偏校准 (SDC) 的新框架。与以往将模型对已知类别的偏置视为新类别识别障碍的方法不同,SDC 提供了一种释放偏置潜力以促进新类别学习的新见解。具体而言,偏置模型的输出具有两个关键作用。首先,它提供了对类别偏置的准确建模,可用于衡量偏置程度并对当前训练模型的输出进行去偏。其次,它通过在相似类别间迁移知识,为区分不同新类别提供了有价值的见解。基于这些见解,SDC 利用偏置模型的输出动态调整当前训练模型的输出 logits。该方法产生偏置更少的 logits,以有效解决偏向已知类别的类别偏置问题,并为未标注数据生成更准确的伪标签,从而缓解新类别的类别混淆。在三个基准数据集上的实验表明,SDC 优于 SOTA 方法,尤其是在新类别识别方面。我们的代码和数据可在 \url{https://github.com/Lackel/SDC} 获取。
引用
@article{arxiv.2412.12501,
title = {Unleashing the Potential of Model Bias for Generalized Category Discovery},
author = {Wenbin An and Haonan Lin and Jiahao Nie and Feng Tian and Wenkai Shi and Yaqiang Wu and Qianying Wang and Ping Chen},
journal= {arXiv preprint arXiv:2412.12501},
year = {2024}
}
备注
Accepted by AAAI 2025