面向应用的 DNN 灾难性遗忘综合研究
机器学习
2019-09-11 v1 机器学习
摘要
我们对执行顺序（或：增量）学习的现代深度神经网络（DNN）模型中的灾难性遗忘（CF）进行了大规模实证研究。提出了一种新的实验协议，以强制满足应用场景中遇到的典型约束。由于该研究是经验性的，我们在迄今为止最大数量的视觉分类数据集上评估 CF 行为，并从每个数据集中构建与先前 CF 工作紧密对齐的具有代表性的顺序学习任务（SLT）数量。我们的结果清楚地表明，在应用条件下，没有任何模型能对所有被研究的数据集和 SLT 避免 CF。我们以对 CF 潜在解决方案和变通方法的讨论作结，特别是针对 EWC 和 IMM 模型。
引用
@article{arxiv.1905.08101,
title = {A comprehensive, application-oriented study of catastrophic forgetting in DNNs},
author = {B. Pfülb and A. Gepperth},
journal= {arXiv preprint arXiv:1905.08101},
year = {2019}
}
备注
14 pages, 12 + 23 figures, ICLR | 2019 Seventh International Conference on Learning Representations