质心匹配:一种在嵌入空间中运行的高效持续学习方法
机器学习
2022-09-13 v2 机器学习
摘要
灾难性遗忘(CF)发生在神经网络在来自不同分布的一组样本(即新任务)上训练时,丢失先前已学习的信息。现有方法在缓解 CF 方面取得了显著成果,尤其是在称为任务增量学习的场景中。然而,该场景并不现实,且在更现实场景下取得良好成果的工作有限。本文中,我们提出一种称为质心匹配的新型正则化方法,其受元学习方法启发,通过在神经网络生成的特征空间中运作来对抗 CF,在仅需小内存占用的同时取得良好结果。具体而言,该方法直接使用神经网络生成的特征向量对样本分类,将这些向量与代表当前任务各类别或截至该点所有任务的质心进行匹配。质心匹配比竞争基线更快,并且可被用于高效缓解 CF,通过保持过去任务结束时模型生成的嵌入空间与当前生成的嵌入空间之间的距离,从而得到一种在所有任务上均实现高准确率的方法,在简单场景中不使用外部记忆,或在更现实场景中使用小规模外部记忆。大量实验表明,质心匹配在多个数据集和场景下均取得了准确率提升。
引用
@article{arxiv.2208.02048,
title = {Centroids Matching: an efficient Continual Learning approach operating in the embedding space},
author = {Jary Pomponi and Simone Scardapane and Aurelio Uncini},
journal= {arXiv preprint arXiv:2208.02048},
year = {2022}
}
备注
Submitted to Transactions on Machine Learning Research (TMLR)