中文

学习热力学理论 第 II 部分:临界期闭合与持续学习失败

机器学习 2026-02-12 v2

摘要

有限时间内完成的学习本质上是不可逆的。在本系列的第一部分中,我们将学习建模为参数分布空间中的传输过程,推导了 Epistemic Speed Limit (ESL),即在有限时序动力学下熵产生的下界。在本文(第二部分)中,我们表明不可逆性对未来可适应性施加了几何限制,这源于学习动力学的组合结构。成功的学习阶段作为传输图相互组成,其 Jacobian 形成的半群的秩和奇异值是次可约的。因此,在组合作用下,动态可用的数据重构自由度只能减少。我们用兼容有效秩(compatible effective rank)来形式化模型的剩余可适应性,其定义为保持任务方向的 log-volume,这些方向在动力学上仍然可达。尽管任务性能可能保持不变,有限时间的学习会逐步降低这种重构容量。我们证明了持续学习的容量阈值准则:设 mBm_B 为新任务 B 的 Hessian 在先前学习任务 A 的任务保留流形上受限的稳定秩。如果 mBm_B 超过剩余兼容有效秩,则任务 B 与任务 A 在轨迹层面上不兼容;任何充分的适应必然导致遗忘。因此,灾难性遗忘并非源于多任务解的缺失,而是源于在组合学习动力学下重构容量的不可逆损失。这一结果为持续学习设定了轨迹层面的容量限制。

关键词

引用

@article{arxiv.2602.07950,
  title  = {A Thermodynamic Theory of Learning Part II: Critical Period Closure and Continual Learning Failure},
  author = {Daisuke Okanohara},
  journal= {arXiv preprint arXiv:2602.07950},
  year   = {2026}
}

备注

Part II of the series "A Thermodynamic Theory of Learning." Substantially expanded version with new capacity-threshold results and a Jacobian semigroup formulation of continual learning