对抗灾难性遗忘的梯度相关子空间学习

Tammuz Dubnov; Vishal Thengane

对抗灾难性遗忘的梯度相关子空间学习

机器学习 2024-03-05 v1 人工智能计算机视觉与模式识别

作者: Tammuz Dubnov , Vishal Thengane

摘要

高效的持续学习技术在过去几年中一直是重要的研究课题。此类学习的一个根本问题是先前学习任务的性能严重下降，即所谓的灾难性遗忘。本文介绍了一种名为梯度相关子空间学习（Gradient Correlation Subspace Learning, GCSL）的新方法，旨在减少增量类学习背景下的灾难性遗忘。该方法检测受先前任务影响最小的权重子空间，并将针对新任务训练的权重投影到该子空间中。该方法可应用于给定网络架构的一层或多层，且所使用的子空间大小可随层和任务的不同而调整。代码将在\href{https://github.com/vgthengane/GCSL}{https://github.com/vgthengane/GCSL}提供。

关键词

持续学习灾难性遗忘梯度相关子空间学习增量类学习权重投影神经网络

引用

@article{arxiv.2403.02334,
  title  = {Gradient Correlation Subspace Learning against Catastrophic Forgetting},
  author = {Tammuz Dubnov and Vishal Thengane},
  journal= {arXiv preprint arXiv:2403.02334},
  year   = {2024}
}

备注

5 figures; Code will be available here: https://github.com/vgthengane/GCSL

对抗灾难性遗忘的梯度相关子空间学习

摘要

关键词

引用

备注

相关论文