神经网络泛化的时空动力学
机器学习
2026-04-22 v2 人工智能
摘要
为什么神经网络在从 16 位数推导到 32 位数时无法实现加法的泛化，而一个学习了规则的孩子却能将其应用于任意长度的序列？我们认为，这种失败并非工程问题，而是对物理后设条件的违反。从物理学的角度出发，我们识别出任何泛化系统必须满足的三个约束：（1）局部性 — 信息以有限速度传播；（2）对称性 — 计算的规律在空间和时间上保持不变；（3）稳定性 — 系统收敛于抗噪声积累的离散吸引子。基于这些后设条件，我们推导 — 而非设计 — 一种时空演化带吸引子动力学（Spatiotemporal Evolution with Attractor Dynamics，SEAD）架构：一种神经细胞自动机，其中局部卷积规则被迭代至收敛。对三项任务的实验验证了我们的理论：（1）奇偶性 — 通过光锥传播实现长度泛化的完美控制；（2）加法 — 从 L=16 推导到 L=100 万，准确率为 100%，表现出输入自适应计算；（3）规则 110 — 在不出现轨迹发散的情况下学习一个完备图灵机的细胞自动机。我们的结果表明，统计学习与逻辑推理之间的差距可以通过尊重计算的物理学来桥接，而非仅靠增加参数规模。
引用
@article{arxiv.2602.01651,
title = {On the Spatiotemporal Dynamics of Generalization in Neural Networks},
author = {Zichao Wei},
journal= {arXiv preprint arXiv:2602.01651},
year = {2026}
}