DynMat：一种可在学习之后继续学习的网络
机器学习
2019-02-05 v2 机器学习
摘要
为了在动态演化的世界中生存，我们基于经验积累知识并提升技能。在此过程中，获取新知识不会破坏我们对外部刺激的警觉。换言之，我们的学习过程是“累积式”且“在线”而不中断的。然而，尽管近期取得进展，人工神经网络(ANNs)必须离线训练，且遭受新旧学习之间的灾难性干扰，表明 ANNs 的常规学习算法可能不适合构建可与大脑媲美的智能体。本研究受互补学习系统(CLS)理论启发——该理论认为大脑依赖短期与长期学习系统实现连续学习——提出了一种由双学习系统组成的新型神经网络架构(DynMat)。我们的实验表明：1) DynMat 能学习新类别而不发生灾难性干扰；2) 它并不严格需要离线训练。
引用
@article{arxiv.1806.06253,
title = {DynMat, a network that can learn after learning},
author = {Jung H. Lee},
journal= {arXiv preprint arXiv:1806.06253},
year = {2019}
}
备注
40 pages and 9 figures