面向人工神经网络的持续任务学习：当前方法与来自神经科学的见解
机器学习
2021-12-30 v1 人工智能
摘要
人类及其他动物在整个生命周期中天生具备学习多样且常相互干扰的知识与技能的能力，这是自然智能的标志，具有明显的进化动机。与此同时，人工神经网络（ANNs）跨任务与领域学习、在需要时组合并重用所学表征的能力，是人工智能的明确目标。这一能力被广泛描述为持续学习，已成为机器学习中一个多产的子领域。尽管近年来深度学习在从图像识别到机器翻译等领域取得了众多成功，此类持续任务学习已被证明颇具挑战。采用随机梯度下降依次在多个任务上训练的神经网络常遭受表征干扰，即给定任务所学权重在被称为灾难性遗忘的过程中有效覆盖了先前任务的权重。这代表了开发更通用人工学习系统的重大障碍，此类系统应能以类似于人类的方式随时间与任务空间积累知识。本综述附带的精选论文与实现仓库可在 https://github.com/mccaffary/continual-learning 找到。
引用
@article{arxiv.2112.14146,
title = {Towards continual task learning in artificial neural networks: current approaches and insights from neuroscience},
author = {David McCaffary},
journal= {arXiv preprint arXiv:2112.14146},
year = {2021}
}