脑类比的持续学习：稳健特征蒸馏与再复合
机器学习
2024-04-24 v1 计算机视觉与模式识别
摘要
人工智能（AI）和神经科学有着悠久的历史，神经科学的进展正在推动AI系统能够实现类人知识保留能力。借助神经科学的见解和现有对抗性与持续学习研究，我们引入了一个由两个核心概念组成的新框架：特征蒸馏和再复合。我们的框架称为Robust Rehearsal，通过蒸馏和排练稳健特征来解决持续学习（CL）系统中固有的灾难性遗忘问题。受哺乳动物大脑记忆巩固过程的启发，Robust Rehearsal旨在模拟在学习任务期间对蒸馏经验的排练。此外，它模仿记忆再巩固过程，即新经验影响过去经验的整合，以减轻遗忘。在CIFAR10、CIFAR100和真实世界直升机姿态数据集上进行的大量实验表明，使用Robust Rehearsal训练的CL模型在性能上优于基线方法。此外，通过考察不同的优化训练目标——联合学习、持续学习和对抗学习——我们突出了特征学习在模型性能中的关键作用。这强化了排练CL稳健样本以减轻灾难性遗忘的重要性。综上所述，将CL方法与神经科学见解相结合为解决灾难性遗忘这一挑战提供了具有前景的解决方案，为构建更稳健、更类人的AI系统之路。
关键词
引用
@article{arxiv.2404.14588,
title = {Brain-Inspired Continual Learning-Robust Feature Distillation and Re-Consolidation for Class Incremental Learning},
author = {Hikmat Khan and Nidhal Carla Bouaynaya and Ghulam Rasool},
journal= {arXiv preprint arXiv:2404.14588},
year = {2024}
}