持续学习中基于质心距离蒸馏的有效重演
机器学习
2023-03-07 v1 计算机视觉与模式识别
摘要
重演，即在旧任务存储的小数据子集上再训练，已被证明能有效解决持续学习中的灾难性遗忘。然而，由于采样数据相对原始数据集可能存在较大偏差，对其再训练易驱动旧任务在特征空间中的持续域漂移，从而导致遗忘。本文聚焦于以质心距离蒸馏解决持续域漂移问题。首先，我们提出一种基于所构建质心采样数据点的质心缓存机制，以减小重演中的样本偏差。随后，我们提出仅存储质心距离的质心距离蒸馏，以减小持续域漂移。在四个持续学习数据集上的实验显示了所提方法的优越性，且持续域漂移得以降低。
引用
@article{arxiv.2303.02954,
title = {Centroid Distance Distillation for Effective Rehearsal in Continual Learning},
author = {Daofeng Liu and Fan Lyu and Linyan Li and Zhenping Xia and Fuyuan Hu},
journal= {arXiv preprint arXiv:2303.02954},
year = {2023}
}