特征空间在持续学习中的退化
机器学习
2026-02-09 v1 分布式、并行与集群计算
摘要
集中训练是深度学习中的标准范式，使模型能够在单一位置从统一数据集中学习。在此设置下，各向同性特征分布自然出现，作为支持良好结构化和可泛化表示的手段。相比之下，持续学习在流式和非平稳数据上进行，逐步训练模型，天然面临已知的塑性-稳定性困境。在此类设置下，学习动力学倾向于导致特征空间日益各向异性。这引发一个根本性问题：是否应强制实现各向同性，以实现更好的稳定性与塑性之间的平衡，从而缓解灾难性遗忘？本文我们研究了是否通过促进特征空间的各向同性来增强持续学习中的表示质量。通过在CIFAR-10和CIFAR-100数据集上使用对比式持续学习技术进行实验，我们发现各向同性正则化未能提高，且可能在持续学习环境中降低模型准确率。我们的结果凸显了集中学习与持续学习中特征几何的根本差异，表明虽然各向同性在集中化设置中有益，但可能并非非平稳学习场景中合适的归纳偏差。
引用
@article{arxiv.2602.06586,
title = {Degradation of Feature Space in Continual Learning},
author = {Chiara Lanza and Roberto Pereira and Marco Miozzo and Eduard Angelats and Paolo Dini},
journal= {arXiv preprint arXiv:2602.06586},
year = {2026}
}