面向持续学习的自适应知识蒸馏与预测不确定性集成方法
计算机视觉与模式识别
2023-01-19 v1 机器学习
摘要
当前的深度学习模型在持续学习新知识时常常遭受对旧知识的灾难性遗忘。现有的缓解策略通常固定地权衡保持旧知识（稳定性）与学习新知识（可塑性）。然而，持续学习过程中的稳定性-可塑性权衡可能需要动态调整以获得更好的模型性能。本文提出两种自适应平衡模型稳定性与可塑性的新方法。第一种是自适应地集成多层次的旧知识，并将其迁移到新模型中每个块级别。第二种利用旧知识的预测不确定性，在模型训练过程中自然地调节学习新知识的重要性。据我们所知，这是首次将模型预测不确定性与知识蒸馏联系起来用于持续学习。此外，本文特别应用一种改进的 CutMix 来增强旧知识的数据，进一步缓解灾难性遗忘问题。在 CIFAR100 和 ImageNet 数据集上的大量评估证实了所提方法在持续学习中的有效性。
引用
@article{arxiv.2301.07316,
title = {Adaptively Integrated Knowledge Distillation and Prediction Uncertainty for Continual Learning},
author = {Kanghao Chen and Sijia Liu and Ruixuan Wang and Wei-Shi Zheng},
journal= {arXiv preprint arXiv:2301.07316},
year = {2023}
}