头部坍塌，特征保持：为何回放需要大缓冲区
机器学习
2026-03-20 v2 人工智能
摘要
在持续学习 (CL) 中，一个持久的悖论是：神经网络往往保留过去任务的可线性分离表示，尽管其输出预测失败。我们将这一区别形式化为深度特征空间忘记与浅层（分类器级别）忘记之间的差距。我们揭示了经验回放中的一个关键非对称性：尽管最小缓冲区成功地锚定特征几何并防止深度忘记，但缓解浅层忘记通常需要显著更大的缓冲区容量。为解释这一现象，我们将神经坍塌框架扩展到序列设置。我们将深度忘记表述为向非分布子空间的几何漂移，并证明任何非零回放比例最终保证线性可分性的保留。相反，我们识别到小缓冲区导致的“强坍塌”会导致协方差秩不足和类均值膨胀，实际上使分类器对真实总体边界感到盲目。通过将 CL 与分布外检测统一，我们的工作挑战了对大型缓冲区的依赖，表明明确纠正这些统计artifact可能能以最小回放实现稳健性能。
引用
@article{arxiv.2512.07400,
title = {Heads collapse, features stay: Why Replay needs big buffers},
author = {Giulia Lanzillotta and Damiano Meier and Thomas Hofmann},
journal= {arXiv preprint arXiv:2512.07400},
year = {2026}
}