Jaynes 机：深度神经网络的普适微观结构
统计力学
2023-10-13 v1 计算与语言
摘要
我们提出了一种关于深度神经网络微观结构的新理论。利用称为统计远程动力学（statistical teleodynamics）的理论框架——它是统计热力学与势博弈论的概念综合——我们预测深度神经网络中所有高度连接的层都具有连接强度的普适微观结构，其服从对数正态分布（）。此外，在理想条件下，该理论预测所有网络中的所有层都具有相同的 和 。这被证明是一种套利均衡的结果，其中所有连接相互竞争，并为整体损失函数的最小化贡献相同的有效效用。这些令人惊讶的预测被来自现实世界中六个大规模深度神经网络的经验数据所支持。我们还讨论了如何利用这些结果来减少训练大型深度神经网络所需的数据量、时间与计算资源。
引用
@article{arxiv.2310.06960,
title = {Jaynes Machine: The universal microstructure of deep neural networks},
author = {Venkat Venkatasubramanian and N. Sanjeevrajan and Manasi Khandekar},
journal= {arXiv preprint arXiv:2310.06960},
year = {2023}
}