利用高斯混合回放克服灾难性遗忘
机器学习
2021-04-20 v1
摘要
我们提出高斯混合回放(GMR)，一种基于回放的持续学习(CL)方法，其基于高斯混合模型(GMM)。CL方法旨在解决灾难性遗忘(CF)问题，该问题在深度神经网络(DNNs)依次于连续子任务上训练时发生。GMR通过从先前任务生成样本并将其与当前训练数据合并来缓解CF。GMM在此具有多种用途：样本生成、密度估计(例如用于检测离群点或识别任务边界)以及为分类提供高层特征表示。相较于现有基于回放的CL方法，GMR具有若干概念优势。首先，GMR在单一网络结构中以大幅降低的内存需求实现样本生成、分类与密度估计。其次，其可关于子任务数量以常数时间复杂度训练，特别适合终身学习。此外，GMR最小化可微损失函数且似乎避免模式崩溃。另外，可通过应用GMM密度估计检测任务边界。最后，GMR无需访问未来子任务进行超参数调优，从而允许在真实世界约束下开展CL。我们在多个图像数据集上评估GMR，这些数据集被划分为类别不相交的子任务。
引用
@article{arxiv.2104.09220,
title = {Overcoming Catastrophic Forgetting with Gaussian Mixture Replay},
author = {Benedikt Pfülb and Alexander Gepperth},
journal= {arXiv preprint arXiv:2104.09220},
year = {2021}
}
备注
accepted at IJCNN2021, 9 pages, 12 figures