演化世界中的学习障碍：损失塑性理论的数学理解
机器学习
2026-05-19 v3 人工智能
摘要
深度学习模型在-stationary 数据中表现出色，但在非-stationary 环境中难以胜任，因其出现一种被称为塌缩性损失 (Loss of Plasticity, LoP) 的现象，即其未来学习能力的退化。本文提出了一种从原理出发的 LoP 研究，基于梯度学习方法。我们在动力学系统理论基础上，正式定义 LoP，通过在参数空间中识别捕获梯度轨迹的稳定流形来实现。我们的分析揭示了两种主要机制会产生这些陷阱：来自激活饱和的冻结单元以及来自表征冗余的克隆单元流形。我们的框架揭示了一种根本性的张力：那些有助于静态环境下泛化的特性，如低秩表征和简单偏置，直接导致持续学习场景中的 LoP。我们通过数值仿真验证了理论分析，并探讨了架构选择或针对性扰动作为潜在缓解策略。
引用
@article{arxiv.2510.00304,
title = {Barriers for Learning in an Evolving World: Mathematical Understanding of Loss of Plasticity},
author = {Amir Joudaki and Giulia Lanzillotta and Mohammad Samragh Razlighi and Iman Mirzadeh and Keivan Alizadeh and Thomas Hofmann and Mehrdad Farajtabar and Fartash Faghri},
journal= {arXiv preprint arXiv:2510.00304},
year = {2026}
}