结合间隔回忆的任务聚焦巩固：让神经网络像大学生一样学习
机器学习
2025-09-16 v2 人工智能
摘要
深度神经网络经常面临一个被称为灾难性遗忘的关键限制，即在学习新任务后，对过去任务的性能会下降。本文介绍了一种受人类学习策略（如主动回忆、刻意练习和间隔重复）启发的新颖持续学习方法，命名为结合间隔回忆的任务聚焦巩固（TFC-SR）。TFC-SR 通过一种我们称之为主动回忆探针的机制增强了标准经验回放框架。这是一种周期性的、任务感知的模型记忆评估，能够稳定过去知识的表示。我们在 Split MNIST 和 Split CIFAR-100 基准上测试了 TFC-SR，并与领先的基于正则化和基于回放的基线方法进行了对比。结果表明，TFC-SR 的表现显著优于这些方法。例如，在 Split CIFAR-100 上，它达到了 13.17% 的最终准确率，而标准经验回放仅为 7.40%。我们证明，这种优势源于探针本身的稳定作用，而非回放量的差异。此外，我们分析了内存大小与性能之间的权衡，并表明虽然 TFC-SR 在内存受限的环境中表现更好，但当可用内存充足时，更高的回放量仍然更为有效。我们得出结论，TFC-SR 是一种稳健且高效的方法，突出了将主动记忆检索机制整合到持续学习系统中的重要性。
引用
@article{arxiv.2507.21109,
title = {Task-Focused Consolidation with Spaced Recall: Making Neural Networks Learn like College Students},
author = {Prital Bamnodkar},
journal= {arXiv preprint arXiv:2507.21109},
year = {2025}
}
备注
Improved Grammar, consistency and flow. Some sections like the Discussion Section have been rewritten for improvement. Figures and Tables have improved formatting, while the algorithm pseudocode is now consistent with the experiments and less ambiguous