面向应用情境中基于深度学习方法的持续学习

Benedikt Pfülb

面向应用情境中基于深度学习方法的持续学习

机器学习 2022-07-14 v1 人工智能

作者: Benedikt Pfülb

摘要

抽象知识深深植根于许多基于计算机的应用中。人工智能(AI)的一个重要研究领域涉及从数据中自动推导知识。机器学习提供了相应的算法。其中一个研究焦点是开发受生物学启发的学习算法。相应的机器学习方法基于神经学概念,从而能够系统地从数据中推导并存储知识。一类可归类为“深度学习”模型的机器学习算法被称为深度神经网络(DNNs)。DNNs由按层排列的多个人工神经元组成,通过使用反向传播算法进行训练。这些深度学习方法在从高维数据中推断和存储复杂知识方面表现出惊人的能力。然而,DNNs受到一个问题的困扰,该问题阻碍了将新知识添加到已有基础中。持续积累知识的能力是促成进化的重要因素,因此是发展强人工智能的先决条件。所谓的“灾难性遗忘”(CF)效应导致DNNs在针对新数据分布进行少量训练迭代后立刻丢失已推导的知识。只有使用过去和新数据的联合数据分布进行高能耗的重新训练,才能抽象出整套新知识。为了对抗该效应,各种技术已被且仍在开发中,旨在缓解甚至解决CF问题。这些已发表的CF避免研究通常暗示其方法对各种持续学习任务的有效性。本学位论文置于基于深度学习方法的持续机器学习背景中。第一部分涉及……的开发

关键词

持续学习深度神经网络灾难性遗忘深度学习人工智能终身机器学习

引用

@article{arxiv.2207.06233,
  title  = {Continual Learning with Deep Learning Methods in an Application-Oriented Context},
  author = {Benedikt Pfülb},
  journal= {arXiv preprint arXiv:2207.06233},
  year   = {2022}
}

备注

Dissertation, 195 pages

面向应用情境中基于深度学习方法的持续学习

摘要

关键词

引用

备注

相关论文