借助所有先前特征提取器在持续学习中保留早期知识
计算机视觉与模式识别
2021-04-29 v1 机器学习
摘要
随时间持续学习新知识是智能系统识别越来越多类别物体的可取能力。在很少或极少量旧数据存储下,智能系统学习新知识时常灾难性地遗忘先前习得的旧知识。近来,多种方法被提出以缓解灾难性遗忘问题。然而,较早习得的旧知识通常比较晚习得的保留得更少。为减少对尤其较早习得旧知识的遗忘并提升整体持续学习性能,我们提出一种简单而有效的融合机制,将此前习得的所有特征提取器纳入智能模型。此外,每次学习新类别集合时向模型加入一个新特征提取器,并施以特征提取器剪枝以防止整体模型尺寸快速增长。在多分类任务上的实验表明,所提方法能有效减少旧知识遗忘,取得 SOTA 持续学习性能。
引用
@article{arxiv.2104.13614,
title = {Preserving Earlier Knowledge in Continual Learning with the Help of All Previous Feature Extractors},
author = {Zhuoyun Li and Changhong Zhong and Sijia Liu and Ruixuan Wang and Wei-Shi Zheng},
journal= {arXiv preprint arXiv:2104.13614},
year = {2021}
}