利用循环记忆网络克服顺行性遗忘

在一段生命周期内从一系列任务中学习对于智能体迈向通用人工智能至关重要。这要求智能体能够持续学习并记忆新知识而不受干扰。本文首次揭示了使用神经网络进行终身学习的一个基本问题,称为顺行性遗忘(anterograde forgetting),即保留和迁移记忆可能会抑制新知识的学习。这归因于两个事实:神经网络在持续记忆历史知识时其学习能力会下降,以及在将不相关的旧知识迁移到当前任务时可能发生概念混淆。本工作提出了一个名为循环记忆网络(Cycled Memory Networks, CMN)的通用框架,以解决神经网络在终身学习中的顺行性遗忘问题。CMN由两个独立的记忆网络组成,分别存储短期和长期记忆,以避免容量缩减。设计了一个迁移单元来连接这两个记忆网络,使知识能从长期记忆网络迁移到短期记忆网络以缓解概念混淆,并开发了记忆巩固机制将短期知识整合到长期记忆网络中以实现知识积累。实验结果表明,CMN能在多个任务相关、任务冲突、类增量和跨域基准上有效解决顺行性遗忘问题。