主动长期记忆网络
机器学习
2016-06-09 v1 人工智能
机器学习
摘要
人工神经网络中的持续学习在不同任务顺序学习时会遭受干扰和遗忘。本文提出了主动长期记忆网络（A-LTM），一种序列多任务深度学习模型，能够在获取新知识的同时保持先前学习的感官输入与行为输出之间的关联。A-LTM利用深度神经网络的非凸特性，通过蒸馏损失主动维持先前学习的非活跃任务的知识。对学习输入-输出映射的失真施加惩罚，但隐藏层可以自由地趋向对多任务目标更有利的新局部最优。我们从灾难性推理（CI）的角度重新审视McClelland关于海马体理论的经典工作，探讨现代深度架构在通过反向传播训练并在各epoch中非均匀采样潜变量时所表现出的CI行为。我们展示了在相同任务上训练的深度线性网络持续学习过程中非平凡CI的实证结果，以及在任务从预测语义因素转向图形因素时卷积神经网络中的表现，以及从简单到复杂环境的域适应中的表现。我们展示了A-LTM模型在高度受控的iLab-20M数据集上维持10个目标类别和88个相机视角下的视角识别能力，同时适应包含1000个目标类别的非结构化ImageNet域。
引用
@article{arxiv.1606.02355,
title = {Active Long Term Memory Networks},
author = {Tommaso Furlanello and Jiaping Zhao and Andrew M. Saxe and Laurent Itti and Bosco S. Tjan},
journal= {arXiv preprint arXiv:1606.02355},
year = {2016}
}