重新审视无重演持续学习
机器学习
2023-04-05 v2 人工智能
计算机视觉与模式识别
摘要
持续学习是一种机器学习模型从持续变化的训练数据中学习新概念，同时避免对先前已见类别知识退化的设定，这些类别可能长时间从训练数据中消失（即灾难性遗忘问题）。当前针对单一扩展任务（亦称类增量持续学习）的持续学习方法需要大量重演已见数据以避免此种知识退化。不幸的是，重演带来内存成本，且可能违反数据隐私。相反，我们探索以新方式结合知识蒸馏与参数正则化，以在无重演下实现强劲的持续学习性能。具体而言，我们深入研究了常见的持续学习技术：预测蒸馏、特征蒸馏、L2 参数正则化和 EWC 参数正则化。我们首先推翻了参数正则化技术对单一扩展任务的无重演持续学习无效这一常见假设。接下来，我们探索如何在无重演持续学习中利用预训练模型的知识，发现原始 L2 参数正则化优于 EWC 参数正则化和特征蒸馏。最后，我们探索近期流行的 ImageNet-R 基准，并表明在 ViT transformer 的自注意力块中实现的 L2 参数正则化优于近期流行的用于持续学习的提示方法。
引用
@article{arxiv.2203.17269,
title = {A Closer Look at Rehearsal-Free Continual Learning},
author = {James Seale Smith and Junjiao Tian and Shaunak Halbe and Yen-Chang Hsu and Zsolt Kira},
journal= {arXiv preprint arXiv:2203.17269},
year = {2023}
}
备注
Accepted by the 2023 IEEE/CVF Conference on Computer Vision and Pattern (CVPR) Workshop on Continual Learning in Computer Vision (CLVision 2023)