结合重要性采样与原型-实例关系蒸馏的对比持续学习
机器学习
2024-03-08 v1
摘要
近年来，由于对比学习方法能够产生高质量的表示，基于回放的对比持续学习被提出，旨在探索如何持续学习可迁移的表示嵌入，以避免传统持续学习设置中的灾难性遗忘问题。基于此框架，我们提出了结合重要性采样的对比持续学习，通过采用一种新的回放缓冲区选择策略来恢复先前数据分布以保留知识，该策略通过最小化估计方差来保存困难负样本，从而实现高质量的表示学习。此外，我们提出了原型-实例关系蒸馏损失，这是一种旨在利用自蒸馏过程维持原型与样本表示之间关系的技术。在标准持续学习基准上的实验表明，我们的方法在知识保留方面显著优于现有基线，从而在在线环境中有效对抗了灾难性遗忘。代码可在 https://github.com/lijy373/CCLIS 获取。
引用
@article{arxiv.2403.04599,
title = {Contrastive Continual Learning with Importance Sampling and Prototype-Instance Relation Distillation},
author = {Jiyong Li and Dilshod Azizov and Yang Li and Shangsong Liang},
journal= {arXiv preprint arXiv:2403.04599},
year = {2024}
}
备注
Accepted by AAAI 2024