用于类增量学习的凝聚原型重放
机器学习
2023-05-26 v1
摘要
增量学习(IL)在学习新任务时遭受对旧任务的灾难性遗忘。这可以通过重放存储在记忆中的先前任务数据来缓解,然而记忆通常易受容量限制和隐私泄露的影响。近期研究仅存储类质心作为原型,并为其添加高斯噪声以生成合成数据用于重放。但它们无法有效避免类边界附近的类间干扰,从而导致遗忘。此外,注入的噪声扭曲了真实数据与原型之间的丰富结构,甚至对IL有害。本文提出YONO,即每类只需重放一个凝聚原型(You Only Need to replay One condensed prototype per class),该方法首次甚至能优于耗费记忆成本的样例重放方法。为此,我们开发了一种新颖的原型学习方法:(1)通过注意力均值漂移算法在高密度区域搜索更具代表性的原型;(2)将每类样本移向其原型,形成远离其他类的紧凑簇。从而最大化类边界,有效减少导致未来遗忘的干扰。此外,我们将YONO扩展为YONO+,通过在表示空间中每个原型邻域随机采样来创建合成重放数据。我们表明合成数据可进一步提升YONO。在IL基准上的大量实验证明了YONO/YONO+在准确率和遗忘方面相对于现有IL方法的优势。
引用
@article{arxiv.2305.16143,
title = {Condensed Prototype Replay for Class Incremental Learning},
author = {Jiangtao Kong and Zhenyu Zong and Tianyi Zhou and Huajie Shao},
journal= {arXiv preprint arXiv:2305.16143},
year = {2023}
}