深层机器内置奥卡姆的锐利
无序系统与神经网络
2026-03-03 v1 元胞自动机与格子气
摘要
输入-输出映射在科学和技术领域广泛存在。它们经常观察到偏向简单输出，但我们不理解其原因。为解决这一谜题，我们研究了典型的输入-输出映射：一种每个节点都是其下方所有节点函数的深度层机器。我们给出输出分布的精确理论，并通过大规模计算机实验确认了预测。随着网络深度的增加，分布对简单输出的偏差呈指数级增长。这表明深层机器及其他学习方法可能内置地偏向于简单模型。
引用
@article{arxiv.2603.01217,
title = {Deep-layered machines have a built-in Occam's razor},
author = {Thomas M. A. Fink},
journal= {arXiv preprint arXiv:2603.01217},
year = {2026}
}