基于免训练原型校准的小样本类增量学习
计算机视觉与模式识别
2023-12-11 v1 机器学习
摘要
现实场景通常伴随着持续出现的类别且标记样本稀少，这要求机器学习模型能够增量学习新类别并保持基类知识。在这种小样本类增量学习（FSCIL）场景中，现有方法要么引入额外的可学习组件，要么依赖冻结的特征提取器来缓解灾难性遗忘和过拟合问题。然而，我们发现现有方法倾向于将新类别的样本误分类为基类，导致新类别性能不佳。换句话说，基类的强判别性干扰了新类别的分类。为了解释这一有趣现象，我们观察到尽管特征提取器仅在基类上训练，但它能惊人地表示基类与未见新类别之间的语义相似性。基于这些分析，我们提出了一种简单而有效的免训练校准（TEEN）策略，通过将新原型（即类别的平均特征）与加权基原型融合来增强新类别的判别性。除了FSCIL中的标准基准外，TEEN在小样本学习场景中也表现出显著的性能和相对于基线方法的一致性改进。代码可在 https://github.com/wangkiw/TEEN 获取。
引用
@article{arxiv.2312.05229,
title = {Few-Shot Class-Incremental Learning via Training-Free Prototype Calibration},
author = {Qi-Wei Wang and Da-Wei Zhou and Yi-Kai Zhang and De-Chuan Zhan and Han-Jia Ye},
journal= {arXiv preprint arXiv:2312.05229},
year = {2023}
}
备注
Accepted to NeurIPS 2023. Code is available at: https://github.com/wangkiw/TEEN