中文

PCR:基于代理的对比重放用于在线类增量持续学习

计算机视觉与模式识别 2023-04-11 v1 人工智能 机器学习

摘要

在线类增量持续学习是持续学习的一项特定任务。它旨在从数据流中持续学习新类,且数据流中的样本仅被见一次,这受到灾难性遗忘问题(即遗忘旧类的历史知识)的困扰。现有的基于重放的方法通过以基于代理或基于对比的重放方式保存并重放部分旧数据,有效缓解了该问题。尽管这两种重放方式都有效,但前者会因类不平衡问题而偏向新类,后者则因样本数量有限而不稳定且难以收敛。在本文中,我们对这两种重放方式进行了全面分析,发现它们可以互补。受此发现的启发,我们提出了一种称为基于代理的对比重放(PCR)的新型基于重放的方法。其关键操作是在基于对比的方式中,用相应的代理替换锚点的对比样本。它通过有效解决不平衡问题缓解了灾难性遗忘现象,同时保持了模型的较快收敛。我们在三个真实世界基准数据集上进行了大量实验,实证结果一致证明了PCR相对于各种state-of-the-art方法的优越性。

关键词

引用

@article{arxiv.2304.04408,
  title  = {PCR: Proxy-based Contrastive Replay for Online Class-Incremental Continual Learning},
  author = {Huiwei Lin and Baoquan Zhang and Shanshan Feng and Xutao Li and Yunming Ye},
  journal= {arXiv preprint arXiv:2304.04408},
  year   = {2023}
}

备注

To appear in CVPR 2023. 10 pages, 8 figures and 3 tables