深度学习中的灾难性遗忘：一种综合分类法
机器学习
2023-12-19 v1 人工智能
摘要
深度学习模型在图像分类或生成等任务中取得了卓越的性能，往往超越了人类的准确率。然而，在无法获取先前数据的情况下，它们在学习新任务和更新知识时会遇到困难，导致准确率显著下降，这种现象被称为灾难性遗忘（Catastrophic Forgetting, CF）。该现象最早由 McCloskey 和 Cohen 于 1989 年观察到，至今仍是一个活跃的研究课题。无遗忘的增量学习被广泛认为是构建更优 AI 系统的关键要素，因为它使模型能够适应新任务而不丧失执行先前学习任务的能力。本文综述了使用梯度下降作为学习算法的现代深度学习模型中解决 CF 问题的近期研究。尽管已有多种解决方案被提出，但尚未建立明确的解决方案或评估 CF 的共识。本文对近期的解决方案进行了全面回顾，提出了对其进行分类的分类法，并指出了该领域的研究空白。
引用
@article{arxiv.2312.10549,
title = {Catastrophic Forgetting in Deep Learning: A Comprehensive Taxonomy},
author = {Everton L. Aleixo and Juan G. Colonna and Marco Cristo and Everlandio Fernandes},
journal= {arXiv preprint arXiv:2312.10549},
year = {2023}
}