持续学习中样本影响的研究
机器学习
2022-09-27 v1
摘要
持续学习(CL)像人类一样顺序地学习新任务,目标是实现更好的稳定性(S,记住过往任务)和可塑性(P,适应新任务)。由于过去的训练数据不可用,探索训练样本对 S 和 P 的影响差异是有价值的,这可能改进学习模式以朝向更好的 SP。受影响函数(IF)启发,我们首先通过给样本权重添加扰动并计算影响导数来研究样本影响。为避免神经网络中 Hessian 逆的存储与计算负担,我们提出一个简单而有效的 MetaSP 算法来模拟 IF 计算中的两个关键步骤,并获得感知 S 与 P 的样本影响。此外,我们提出通过求解双目标优化问题融合两类样本影响,获得朝向 SP 帕累托最优的融合影响。该融合影响可用于控制模型更新并优化重演(rehearsal)的存储。实证结果表明,我们的算法在任务和类增量基准 CL 数据集上显著优于最先进的方法。
引用
@article{arxiv.2209.12241,
title = {Exploring Example Influence in Continual Learning},
author = {Qing Sun and Fan Lyu and Fanhua Shang and Wei Feng and Liang Wan},
journal= {arXiv preprint arXiv:2209.12241},
year = {2022}
}
备注
Accepted at NeurIPS 2022