深度神经网络的伊辛模型
统计力学
2022-09-20 v1
摘要
本工作将深度神经网络映射为经典伊辛自旋模型，从而可用统计热力学对其进行描述。态密度表明，权重在经过训练后会出现结构——与训练不佳的网络相比，训练良好的网络可实现更广范围的能量。这些结构在整个网络中传播，在单个层中并未观察到。能量值与任务上的性能相关，使得无需访问数据即可根据质量区分网络。还研究了比热等热力学性质，揭示出训练后的网络具有更高的临界温度。
引用
@article{arxiv.2209.08678,
title = {Ising models of deep neural networks},
author = {Dusan Stosic and Darko Stosic and Borko Stosic},
journal= {arXiv preprint arXiv:2209.08678},
year = {2022}
}