双层持续学习
机器学习
2020-07-31 v1 机器学习
摘要
持续学习旨在以在线学习的方式从任务流和数据流中持续学习，能够利用先前所学改进当前和未来任务，同时仍能在先前任务上表现良好。许多现有持续学习方法的一个常见局限是，由于持续学习的特性，它们通常直接在全部可用训练数据上训练模型而不进行验证，从而在测试时泛化不佳。在这项工作中，我们提出了一个名为“双层持续学习”（BCL）的新型持续学习框架，通过统一{\it 双层优化}目标与包含情景记忆和泛化记忆的{\it 双重记忆管理}策略，以实现对未来任务的有效知识迁移并同时缓解对旧任务的灾难性遗忘。我们在持续学习基准上的大量实验证明了所提 BCL 相较于许多最先进方法的有效性。我们的实现可在 https://github.com/phquang/bilevel-continual-learning 获取。
引用
@article{arxiv.2007.15553,
title = {Bilevel Continual Learning},
author = {Quang Pham and Doyen Sahoo and Chenghao Liu and Steven C. H Hoi},
journal= {arXiv preprint arXiv:2007.15553},
year = {2020}
}