平衡梯度样本检索以增强基于代理的持续学习中的知识保留
机器学习
2024-12-20 v1
摘要
深度神经网络中的持续学习常常遭受灾难性遗忘，即先前任务的表示在后续训练中被覆盖。我们提出了一种新颖的从记忆缓冲区中检索样本的策略，该策略同时利用梯度冲突样本和梯度对齐样本，在监督对比学习框架内有效保留关于过去任务的知识。梯度冲突样本因其通过重新对齐梯度来减少干扰的潜力而被选中，从而保留过去任务的知识。同时，引入梯度对齐样本以加强跨任务的稳定共享表示。通过平衡来自冲突样本的梯度校正与来自对齐样本的对齐增强，我们的方法增加了检索实例的多样性，并在参数空间中实现了更优的对齐，显著增强了知识保留并减轻了代理漂移。实验结果表明，同时使用两种样本类型优于仅依赖一种样本类型或随机检索的方法。在计算机视觉中流行的持续学习基准上的实验验证了我们的方法在减轻遗忘方面具有最先进的性能，同时在新任务上保持有竞争力的准确率。
引用
@article{arxiv.2412.14430,
title = {Balanced Gradient Sample Retrieval for Enhanced Knowledge Retention in Proxy-based Continual Learning},
author = {Hongye Xu and Jan Wasilewski and Bartosz Krawczyk},
journal= {arXiv preprint arXiv:2412.14430},
year = {2024}
}