用于持续学习的记忆Transformer
机器学习
2024-05-17 v3 计算机视觉与模式识别
摘要
神经网络在持续学习中面临灾难性遗忘（CF）的挑战，即新任务学习会干扰先前学到的知识。现有的数据微调和正则化方法在推理时需要任务身份信息，并且无法消除不同任务间的干扰，而软参数共享方法则面临模型参数规模不断增大的问题。为应对这些挑战，受大脑互补学习系统（CLS）的启发，我们提出了记忆Transformer（Remembering Transformer）。记忆Transformer在预训练Transformer中采用混合适配器架构和基于生成模型的新颖性检测机制来缓解CF。记忆Transformer基于知识蒸馏，以增强的参数效率将任务数据动态路由到最相关的适配器。我们在广泛的类增量分割任务和排列任务上进行了大量实验，包括对新颖性检测机制和混合适配器模型容量的消融研究。我们的方法在分割任务中取得了SOTA性能，比第二好的方法高出15.90%，在CIFAR10任务的五次分割中，将内存占用从11.18M减少到0.22M。
引用
@article{arxiv.2404.07518,
title = {Remembering Transformer for Continual Learning},
author = {Yuwei Sun and Ippei Fujisawa and Arthur Juliani and Jun Sakuma and Ryota Kanai},
journal= {arXiv preprint arXiv:2404.07518},
year = {2024}
}