动态模块化与稀疏的通用持续学习

现实世界的应用通常需要在不断变化的条件下从连续的数据流中持续学习。当试图从此类非平稳数据中学习时，深度神经网络（DNN）会对先前学习的信息发生灾难性遗忘。在避免灾难性遗忘的常用方法中，基于回放的方法已被证明是有效的。然而，由于所有参数对所有任务都产生响应，它们仍易因任务干扰而遗忘。为此，我们从大脑中的稀疏编码获得启发，为基于回放的通用持续学习引入动态模块化与稀疏性（Dynamos）。在该设定下，DNN 通过学习激活相关的神经元子集来对刺激作出响应。我们在多种数据集及具有挑战性的持续学习评估协议下证明了 Dynamos 的有效性。最后，我们表明我们的方法学习到的表示具有模块化与专门化特性，同时通过激活具有与刺激相似性相对应重叠部分的神经元子集保持了可复用性。