关于增量深度神经网络中的灾难性遗忘的方法论研究
机器学习
2024-05-15 v1 人工智能
摘要
人类和不同动物种类拥有贯穿其一生收集、传输知识、处理、微调和生成信息的能力。这种在一生中学习的能力被称为持续学习，指的是利用神经认知机制。因此，在实际世界中，增量学习的自主代理也需要这种持续学习机制，以提供信息检索和长期记忆巩固。然而，人工智能中的主要挑战是当面对新数据时，自主代理的增量学习。在这种情况下，主要关注点是灾难性遗忘（Catastrophic Forgetting, CF），即在面对新数据时，神经网络在处理旧数据时会出现欠拟合。为了解决这一CF问题，已提出许多研究，但由于其评估机制的差异异，很难比较其性能。本文聚焦于具有相似评估机制的所有算法的比较。我们比较三种类型的增量学习方法：（1）基于示例的方法；（2）基于记忆的方法；（3）基于网络的方法。在本论文survey中，针对增量深度神经网络中的灾难性遗忘进行了方法论导向的研究。此外，本文包含对影响性方法的数学概述，帮助研究人员处理CF。
引用
@article{arxiv.2405.08015,
title = {A Methodology-Oriented Study of Catastrophic Forgetting in Incremental Deep Neural Networks},
author = {Ashutosh Kumar and Sonali Agarwal and D Jude Hemanth},
journal= {arXiv preprint arXiv:2405.08015},
year = {2024}
}