FearNet:用于增量学习的大脑启发模型
机器学习
2018-02-27 v2 人工智能
计算机视觉与模式识别
摘要
增量类学习涉及按顺序以来自同一类的成簇样本突发式地学习类别。这违背了训练标准深度神经网络的方法所基于的假设,并将导致它们遭受灾难性遗忘。可以说,增量类学习的最佳方法是 iCaRL,但它需要为每个类存储训练样本,使其难以扩展。在此,我们提出用于增量类学习的 FearNet。FearNet 是一种不存储先前样本的生成模型,使其内存高效。FearNet 使用受大脑启发的双记忆系统,其中新记忆从受哺乳动物海马复合体启发的近期记忆网络巩固到受内侧前额叶皮层启发的长期存储网络。记忆巩固受睡眠期间发生的机制启发。FearNet 还使用受基底外侧杏仁核启发的模块来决定使用哪个记忆系统进行回忆。FearNet 在图像(CIFAR-100、CUB-200)和音频分类(AudioSet)基准上取得了增量类学习的 SOTA 性能。
引用
@article{arxiv.1711.10563,
title = {FearNet: Brain-Inspired Model for Incremental Learning},
author = {Ronald Kemker and Christopher Kanan},
journal= {arXiv preprint arXiv:1711.10563},
year = {2018}
}
备注
To appear in ICLR 2018