终身学习过程：自记忆监督与动态增长网络
机器学习
2020-04-28 v1 机器学习
摘要
从童年到青年，人类逐渐认识世界。但对于神经网络而言，这种成长过程似乎困难。受困于灾难性遗忘，当前研究者将全部类别的数据输入到在整个训练过程中结构保持不变的神经网络中。我们将此训练过程与人类学习模式比较，发现两大冲突。在本文中，我们研究如何基于条件变分自编码器（CVAE）模型在生成模型上解决这些冲突。为解决不连续冲突，我们应用记忆回放策略以维持模型对不可见已用类别的识别与生成能力。并将传统单向 CVAE 扩展为循环模式以更好地实现记忆回放策略。为解决“死”结构冲突，我们重写 CVAE 公式，从而能对 CVAE 模型中不同部分的功能做出新颖解释。基于新理解，我们找到了在新类别训练时动态扩展网络结构的方法。我们在 MNIST 和 Fashion MNIST 上验证了方法的有效性，并展示一些非常有趣的结果。
引用
@article{arxiv.2004.12731,
title = {Lifelong Learning Process: Self-Memory Supervising and Dynamically Growing Networks},
author = {Youcheng Huang and Tangchen Wei and Jundong Zhou and Chunxin Yang},
journal= {arXiv preprint arXiv:2004.12731},
year = {2020}
}
备注
8 pages, 12 figures