宽型神经网络作为计算无重合猜想的基线
机器学习
2026-01-13 v2 机器学习
摘要
我们证明了具有大宽度且采用自然超参数选择的随机初始化神经网络，其输出在其激活函数为满足高斯测度下均值为零的非线性函数时几乎独立：。例如，这包括以增量平移后的 ReLU 和 GeLU，以及 tanh，但不包括单独使用的 ReLU 或 GeLU。由于其输出几乎独立，我们提议采用具有零均值激活函数的神经网络作为 Alignment Research Center 计算无重合猜想的可行候选方案——该猜想旨在衡量 AI 可解释性的极限。
引用
@article{arxiv.2510.06527,
title = {Wide Neural Networks as a Baseline for the Computational No-Coincidence Conjecture},
author = {John Dunbar and Scott Aaronson},
journal= {arXiv preprint arXiv:2510.06527},
year = {2026}
}