基于特征子空间学习的经验回放在线持续学习方法（ER-FSL）
机器学习
2024-07-18 v1 计算机视觉与模式识别
摘要
在线持续学习（OCL）涉及深度神经网络在只能访问一次的情况下保留旧数据知识的同时适应新数据。这一关键挑战在于灾�性遗忘，即模型对旧数据的性能下降。现有回放方法通过回放缓冲区中的旧数据样本来缓解遗忘，并学习当前新数据的样本。本文对现有方法进行剖析，经验发现在同一特征空间中学习和回放对解决遗忘问题不利。由于与新数据相关的特征会因数据不平衡而轻易改变与旧数据相关的特征，从而导致遗忘问题。基于此观察，我们直观地探索在不同特征空间中进行学习和回放。在特征子空间中学习足以捕获来自新数据的新知识，而在更大特征空间中回放提供了更多特征空间以保持旧数据的历史知识。为此，我们提出了一种新的OCL方法，称为经验回放与特征子空间学习（ER-FSL）。首先，ER-FSL将整个特征空间划分为多个子空间，每个子空间用于学习当前样本。此外，它引入了子空间重复使用机制，以应对不存在空闲子空间的情况。在三个数据集上的大量实验表明，ER-FSL在各种最先进方法上具有优势。
引用
@article{arxiv.2407.12279,
title = {ER-FSL: Experience Replay with Feature Subspace Learning for Online Continual Learning},
author = {Huiwei Lin},
journal= {arXiv preprint arXiv:2407.12279},
year = {2024}
}
备注
10 pages, 6 figures