经典神经网络中非经典统计特性的涌现
机器学习
2026-03-06 v1 人工智能
量子物理
摘要
受量子力学中的测量不兼容性和贝尔型不等式的启发，我们提出一种非经典网络（NCnet），即一种简单的经典神经网络架构，在典型且可解释的实验设置下稳定表现出非经典统计行为。我们发现，受多任务共享隐藏层神经元梯度竞争的影响，出现非经典性，这通过 CHSH 不等式的 统计量进行度量。值得注意的是，尽管没有支持显式通信的物理链接，一个任务头仍可通过局部损失振荡隐式感知其他任务头的训练任务，从而在其训练结果中产生非局域相关性。具体而言，在资源有限的情境下， 值随资源增加而逐渐增大，并趋近于其经典上界 2，这表明随着资源增加，欠拟合得以缓解。当模型接近足够性能所需的临界规模时， 可能暂时超过 2。随着资源的持续增长， 然后渐近地下降到并在 2 附近波动。经验上，当模型容量不足时， 与泛化性能呈正相关， 首次接近 的区间往往对应于良好的泛化。总体而言，我们的结果表明，非经典统计量为理解深度网络的内部交互和训练动力学提供了一种新视角。
引用
@article{arxiv.2603.04451,
title = {On Emergences of Non-Classical Statistical Characteristics in Classical Neural Networks},
author = {Hanyu Zhao and Yang Wu and Yuexian Hou},
journal= {arXiv preprint arXiv:2603.04451},
year = {2026}
}