广义持续类别发现中类别适配遇见投影蒸馏
机器学习
2024-07-26 v4 计算机视觉与模式识别
摘要
广义持续类别发现（GCCD）致力于从顺序到达的部分标注数据集中学习，同时发掘新类别。传统方法依赖特征蒸馏以防止遗忘旧知识。然而，该策略限制了模型适配并有效区分新类别的能力。为此，我们引入一种将可学习投影器与特征蒸馏相集成的新技术，从而在不损失过往知识的前提下增强模型适配性。先前所学类别的分布偏移通过辅助类别适配网络得以缓解。我们表明，尽管各组件单独仅带来有限收益，其组合——称为CAMP（类别适配遇见投影蒸馏）——显著改善了学习新信息与保留旧知识之间的平衡。CAMP在多个GCCD与类增量学习场景中展现出优越性能。代码见 https://github.com/grypesc/CAMP。
引用
@article{arxiv.2308.12112,
title = {Category Adaptation Meets Projected Distillation in Generalized Continual Category Discovery},
author = {Grzegorz Rypeść and Daniel Marczak and Sebastian Cygert and Tomasz Trzciński and Bartłomiej Twardowski},
journal= {arXiv preprint arXiv:2308.12112},
year = {2024}
}
备注
Accepted for ECCV 2024