面向持续学习的主梯度方向与置信水库采样
机器学习
2021-08-24 v1
摘要
无任务在线持续学习旨在缓解学习器在非独立同分布数据流上的灾难性遗忘。经验回放（ER）是一种SOTA持续学习方法，被广泛用作其他基于回放方法的骨干算法。然而，ER的训练策略过于简单，未能充分利用回放样本，且其水库采样策略也非最优。在本工作中，我们提出一个通用的近端梯度框架，使得ER可视为一种特例。我们进一步提出两项相应改进：主梯度方向（PGD）与置信水库采样（CRS）。在主梯度方向中，我们优化一个目标梯度，它不仅代表过去梯度的主要贡献，还保留当前梯度的新知识。随后我们提出置信水库采样，基于衡量存储样本价值的基于间隔的度量来维护更具信息量的记忆缓冲区。实验证实了两项改进的有效性，且我们的新算法持续提升了SOTA的基于ER的方法MIR-replay的性能：在四个数据集上，我们的算法将平均准确率最高提升7.9%，并将遗忘最高降低15.4%。
引用
@article{arxiv.2108.09592,
title = {Principal Gradient Direction and Confidence Reservoir Sampling for Continual Learning},
author = {Zhiyi Chen and Tong Lin},
journal= {arXiv preprint arXiv:2108.09592},
year = {2021}
}