传播场：深度学习几何传播子理论
机器学习
2026-05-12 v1
摘要
现代深度学习将神经网络主要视为从输入到输出的端点函数。受几何物理学从力到几何的转变启发，我们提出应通过网络内部传播的几何来理解神经网络。我们定义神经传播场为跨深度隐藏状态轨迹和局部雅可比算子的集合。端点损失仅约束该场的边界行为，使其内部几何不确定。我们表明，端点等效模型在轨迹和雅可比结构上可相差数个数量级，并引入可观测场指标，如路径灵敏度、求解器一致性和轨迹/雅可比保持。我们在受控教师流和PDE系统中表明，端点拟合无法恢复 underlying 传播规律。在真实多路径任务中，面向场感知的目标可提高未见路径的泛化、OOD鲁棒性和校准，但在过度约束时可能崩溃。在持续学习中，场保留正则化补充了回放和知识蒸馏：在Split CIFAR-100上，DER++配合场保留可提高平均准确率、向后迁移和场保留指标。这些结果表明，传播场质量是神经网络可衡量且可训练的属性，超越端点性能。
引用
@article{arxiv.2605.08529,
title = {The Propagation Field: A Geometric Substrate Theory of Deep Learning},
author = {Xingrui Gu},
journal= {arXiv preprint arXiv:2605.08529},
year = {2026}
}
备注
Technical notes on exploring the nature of deep learning propagation, Under review by the ICML 4th Workshop on High-dimensional Learning Dynamics (HiLD) 2026