持续学习中表征漂移的度量：线性变换视角
机器学习
2025-06-13 v3
摘要
在持续学习场景中，对先前学习任务的灾难性遗忘是一个关键问题，这使得有效度量此类遗忘变得至关重要。最近，人们越来越关注表征遗忘，即在隐藏层测量的遗忘。在本文中，我们首次对表征遗忘进行了理论分析，并利用该分析更好地理解持续学习的行为。首先，我们引入了一个名为表征差异的新指标，该指标度量通过持续学习训练的模型的两个快照所构建的表征空间之间的差异。我们证明，我们提出的指标在保持解析可处理性的同时，可作为表征遗忘的有效代理。其次，通过对我们指标的数学分析，我们得出了关于表征遗忘动态的几个关键发现：随着层索引的增加，遗忘发生得更快且程度更高，而增加网络宽度会减慢遗忘过程。第三，我们通过在包括 Split-CIFAR100 和 ImageNet1K 在内的真实图像数据集上的实验，支持了我们的理论发现。
引用
@article{arxiv.2505.20970,
title = {Measuring Representational Shifts in Continual Learning: A Linear Transformation Perspective},
author = {Joonkyu Kim and Yejin Kim and Jy-yong Sohn},
journal= {arXiv preprint arXiv:2505.20970},
year = {2025}
}