基于深度神经网络的 accretive 学习（累积学习）
机器学习
2021-11-23 v1
摘要
深度神经网络（DNN）的基本局限之一是其无法获取和积累新的认知能力。当一些新数据出现时，例如待识别预定对象集合中未包含的新对象类别，由于 DNN 固有的公式化设定，常规 DNN 将无法识别它们。当前的解决方案通常是重新设计并重新训练整个网络（可能采用新配置），从新扩展的数据集学习以容纳新知识。这一过程与人类学习者的方式大不相同。本文提出一种称为累积学习（Accretionary Learning, AL）的新学习方法以模拟人类学习，其中待识别对象集合无需预先指定。相应的学习结构被模块化，可动态扩展以登记并利用新知识。在累积学习过程中，随着对象集合规模增大，学习过程无需系统被完全重新设计与重新训练。所提出的 DNN 结构在学习识别新数据类别时不会遗忘先前的知识。我们表明，新结构与设计方法学可得到一个能够增长以应对增加的认知复杂性、同时提供稳定且优越整体性能的系统。
引用
@article{arxiv.2111.10857,
title = {Accretionary Learning with Deep Neural Networks},
author = {Xinyu Wei and Biing-Hwang Fred Juang and Ouya Wang and Shenglong Zhou and Geoffrey Ye Li},
journal= {arXiv preprint arXiv:2111.10857},
year = {2021}
}