信息作为结构对齐:持续学习的动力学理论
机器学习
2026-04-09 v1 人工智能
摘要
灾难性遗忘并非工程失败,而是将知识存储为全局参数叠加的数学后果。现有方法,如正则化、重放和冻结子网络,都在共享参数基底上添加了外部机制。没有一种方法是从学习动力学本身推导出保持能力的。本文提出了信息构建框架(IBF),一种持续学习的替代基底,其前提是信息是实现结构对齐而非存储内容。在IBF中,两个方程支配动力学:运动定律驱动构型向更高相干性演化,修正动力学持续变形相干性景观以响应局部差异。记忆、主体性和自纠错源于这些动力学,而非作为独立模块添加。我们首先在一个透明的二维玩具模型中演示完整生命周期,然后在三个领域进行验证:一个受控的非平稳世界、由斯多克菲什独立评估的国际象棋,以及采用冻结ViT编码器的Split-CIFAR-100。在所有三个领域中,IBF在不存储原始数据的情况下实现了比重放更优的保持能力。我们在CIFAR-100上观察到接近零的遗忘(BT = −0.004),在国际象棋中实现了正向逆向迁移(+38.5 cp),在受控领域中的遗忘比重放少43%。在国际象棋中,该框架在独立评估下实现了平均行为优势+88.9±2.8 cp,超过了MLP和重放基线。
引用
@article{arxiv.2604.07108,
title = {Information as Structural Alignment: A Dynamical Theory of Continual Learning},
author = {Radu Negulescu},
journal= {arXiv preprint arXiv:2604.07108},
year = {2026}
}
备注
31 pages, 8 figures