互补校准：通过协同蒸馏与自监督提升通用持续学习
计算机视觉与模式识别
2023-01-02 v2 机器学习
摘要
通用持续学习（GCL）旨在从非独立同分布流数据中学习，且在训练和测试阶段均不依赖任务边界的情况下不灾难性遗忘旧任务。我们揭示关系和特征偏移是灾难性遗忘的关键问题，其中关系偏移指知识蒸馏中所有类别间关系的缺失，特征偏移指无判别性的特征表示。为此，我们提出互补校准（CoCa）框架，通过挖掘互补模型的输出与特征来缓解 GCL 过程中的两种偏移。具体而言，我们提出一种新的协同蒸馏方法以解决关系偏移，其利用新模型输出与保留输出的集成暗知识来蒸馏模型输出，从而维持旧任务性能并平衡所有类别间的关系。此外，我们探索协同自监督思想，借助预文本任务与有监督对比学习，通过为所有类别学习完整且具判别性的特征来解决特征偏移问题。在四个流行数据集上的大量实验表明，我们的 CoCa 框架相比最先进方法取得了更优性能。代码见 https://github.com/lijincm/CoCa。
引用
@article{arxiv.2109.02426,
title = {Complementary Calibration: Boosting General Continual Learning with Collaborative Distillation and Self-Supervision},
author = {Zhong Ji and Jin Li and Qiang Wang and Zhongfei Zhang},
journal= {arXiv preprint arXiv:2109.02426},
year = {2023}
}
备注
Paper is available at https://ieeexplore.ieee.org/document/10002397. Code is available at https://github.com/lijincm/CoCa