通过离群点消除在持续学习中进行记忆填充
机器学习
2023-10-04 v3
摘要
灾难性遗忘，即学习新任务时遗忘先前所学任务的现象，是开发持续学习算法的一大障碍。缓解遗忘的一种流行方法是使用记忆缓冲区，其存储先前学习任务样例的子集以用于新任务训练期间。填充记忆的默认方法是随机选取先前的样例。然而，此过程可能引入离群点或噪声样本，从而损害模型的泛化能力。本文提出记忆离群点消除（MOE），一种通过从标签同质子群体中选取样本来识别并消除记忆缓冲区中离群点的方法。我们表明，高同质性的空间与更能代表类别分布的特征空间相关。实践中，若某样本被不同标签的样本包围，MOE 将其移除。我们在 CIFAR-10、CIFAR-100 和 CORe50 上展示了 MOE 的有效性，优于先前已知的记忆填充方法。
引用
@article{arxiv.2207.01145,
title = {Memory Population in Continual Learning via Outlier Elimination},
author = {Julio Hurtado and Alain Raymond-Saez and Vladimir Araujo and Vincenzo Lomonaco and Alvaro Soto and Davide Bacciu},
journal= {arXiv preprint arXiv:2207.01145},
year = {2023}
}