套利平衡与深度神经网络中普遍微观结构的出现
无序系统与神经网络
2024-06-06 v2
摘要
尽管近期在大规模深度神经网络应用方面取得了惊人进展，但我们对其微观结构、'能量'函数以及最优设计仍缺乏充分理解。本文提出了一种新的博弈论框架，称为统计teleodynamics，揭示了对这些关键属性具有重要启示的机制。这种网络的最优鲁棒设计本质上涉及计算效益-成本之间的权衡，而物理学启发的模型尚未充分捕捉这一点。这种权衡以神经元和连接在资源约束下竞争以增加其有效效用为表现。在完全训练的网络中，这导致一种套利平衡状态，即给定图层内的所有神经元具有相同的有效效用，以及给定图层的所有连接具有相同的有效效用。该平衡通过连接权重和神经元输出两个对数正态分布的出现，成为大型深度神经网络的普遍微观结构。我们将此类网络称为 Jaynes Machine。我们的理论预测得到来自七个大规模深度神经网络实验数据的支持。我们还表明 Hopfield 网络和 Boltzmann Machine 是 Jaynes Machine 的同一特殊情况。
引用
@article{arxiv.2405.10955,
title = {Arbitrage equilibrium and the emergence of universal microstructure in deep neural networks},
author = {Venkat Venkatasubramanian and N Sanjeevrajan and Manasi Khandekar and Abhishek Sivaram and Collin Szczepanski},
journal= {arXiv preprint arXiv:2405.10955},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2310.06960