基于在线杠杆分数采样的持续学习
机器学习
2019-08-02 v1 机器学习
摘要
为了模仿人类在各种任务中持续获取和迁移知识的能力，学习系统需要具备持续学习的能力，有效利用先前获得的技能。因此，关键挑战在于将从一项任务学到的知识迁移并泛化到其他任务，避免对先前知识的遗忘和干扰，并提升整体性能。本文在持续学习范式下，引入了一种以在线方式有效且持续地遗忘较无用数据样本，并保留有益信息用于后续任务训练的方法。该方法利用统计杠杆分数信息来衡量每个任务中数据样本的重要性，并采用频繁方向方法来实现持续或终身学习的特性。这有效地在所有任务中保持了恒定的训练规模。我们首先提供了该方法的数学直觉，然后通过与现有最先进技术相比，在分类任务的持续学习中展示了其在避免灾难性遗忘和计算效率方面的有效性。
引用
@article{arxiv.1908.00355,
title = {Continual Learning via Online Leverage Score Sampling},
author = {Dan Teng and Sakyasingha Dasgupta},
journal= {arXiv preprint arXiv:1908.00355},
year = {2019}
}