诊断持续学习中由捷径引起的刚性:Einstellung 刚性指数 (ERI)
机器学习
2025-10-02 v1 计算机视觉与模式识别
摘要
深度神经网络经常利用捷径特征,即输入与标签之间的偶然关联,缺乏因果意义。捷径特征会削弱鲁棒性并降低在分布迁移下的可靠性。在持续学习 (CL) 中,捷径的利用后果会持续加剧:来自早期任务的权重会偏向表示复用,倾向于满足先前标签的最简单特征,类似于认知中的 Einstellung 效应,即过去的习惯会阻碍最优解。虽然灾难性遗忘会削弱过去的技能,但捷径引起的刚性则限制了新技能的获取。我们引入 Einstellung 刚性指数 (ERI),一个紧凑的诊断工具,用于分离真实的迁移与基于线索的性能提升,包含三个可解释的维度:(i) 适应延迟 (AD),(ii) 性能赘字 (PD),以及 (iii) 相对次优特征依赖 (SFR_rel)。在一个包含人为性的 magenta 图块的 CIFAR-100 CL 基准测试的两个阶段中,我们评估 Naive 微调 (SGD)、在线弹性权重整合 (EWC_on)、Dark Experience Replay (DER++)、Gradient Projection Memory (GPM) 和 Deep Generative Replay (DGR)。在这些持续学习方法中,我们观察到 CL 方法在时间上比 Scratch-T2 基线更快达到准确率阈值(负 AD),但在带捷径类的最终准确率略低(正 PD)。遮蔽图块后,CL 方法的准确率提升,而 Scratch-T2 稍微下降,导致负 SFR_rel。这一模式表明,在本实验中,图块对 CL 模型而言是干扰项而非有益捷径。
引用
@article{arxiv.2510.00475,
title = {Diagnosing Shortcut-Induced Rigidity in Continual Learning: The Einstellung Rigidity Index (ERI)},
author = {Kai Gu and Weishi Shi},
journal= {arXiv preprint arXiv:2510.00475},
year = {2025}
}
备注
10 pages, 6 figures