持续学习中的主动学习：保持过去的记忆在当下
机器学习
2025-04-22 v2 人工智能
摘要
持续学习 (Continual Learning, CL) 使深度神经网络能够适应不断变化的数据分布。在实际应用中，标注成本可能较高，这时便出现主动持续学习 (Active Continual Learning, ACL)，通过选择最具信息性的子集来降低标注成本。然而，传统的主动学习策略不适用于 ACL，因为它们仅关注学习新知识，导致对以前学习任务的灾难性遗忘。因此，ACL 需要一种新的主动学习策略，以平衡防止灾难性遗忘和快速学习新任务的能力。本文提出 AccuACL，即累积信息性主动持续学习 (Accumulated informativeness-based Active Continual Learning)，通过在 ACL 框架下对 Fisher 信息矩阵进行理论分析，作为样本选择准则的新颖用法，同时也解决了 Fisher 信息基于主动学习的可扩展性问题。大量实验表明，AccuACL 在各种 CL 算法上均显著优于主动学习基线，在平均准确率和遗忘度方面分别提升了 23.8% 和 17.0%。
引用
@article{arxiv.2501.14278,
title = {Active Learning for Continual Learning: Keeping the Past Alive in the Present},
author = {Jaehyun Park and Dongmin Park and Jae-Gil Lee},
journal= {arXiv preprint arXiv:2501.14278},
year = {2025}
}