用于持续学习的生成式负样本回放
机器学习
2022-04-13 v1 计算机视觉与模式识别
机器学习
摘要
持续学习是智能的关键方面，也是解决许多现实问题的必要能力。控制灾难性遗忘（持续学习的阿喀琉斯之踵）最有效的策略之一是存储部分旧数据并将其与新经验交错回放（也称为回放方法）。生成式回放利用生成模型按需提供回放模式，尤其引人关注；然而，研究表明其主要在简化假设下有效，例如简单场景和低维数据。本文中我们表明，虽然生成的数据通常无法提升旧类的分类精度，但它们可作为负样本（或拮抗剂）来更好地学习新类，尤其在学习任务规模小且只包含一或少数类样本时。所提方法在由高维数据和大量训练经验组成的复杂类增量与数据增量持续学习场景（CORe50 和 ImageNet-1000）中得到验证：在此类现有生成式回放方法通常失效的设置下。
引用
@article{arxiv.2204.05842,
title = {Generative Negative Replay for Continual Learning},
author = {Gabriele Graffieti and Davide Maltoni and Lorenzo Pellegrini and Vincenzo Lomonaco},
journal= {arXiv preprint arXiv:2204.05842},
year = {2022}
}
备注
18 pages, 10 figures, 16 tables, 2 algorithms. Under review