持续学习中重放策略的基准测试与实证分析
机器学习
2022-08-05 v1
摘要
具备持续学习能力的人类能够在整个生命周期中不断获取知识。然而，计算系统通常无法按顺序学习任务。深度神经网络（DNNs）这一长期存在的挑战被称为灾难性遗忘。已有多种解决方案被提出以克服此限制。本文对记忆重放方法进行了深入评估，探讨了在选择重放数据时各种采样策略的效率、性能与可扩展性。所有实验均在多个领域下的多个数据集上进行。最后，针对不同的数据分布给出了选择重放方法的实用方案。
引用
@article{arxiv.2208.02660,
title = {A Benchmark and Empirical Analysis for Replay Strategies in Continual Learning},
author = {Qihan Yang and Fan Feng and Rosa Chan},
journal= {arXiv preprint arXiv:2208.02660},
year = {2022}
}
备注
Accepted by CSSL workshop at IJCAI 2021