生成对抗网络损失曲面的自旋玻璃模型
数学物理
2025-04-24 v1 无序系统与神经网络
统计力学
机器学习
math.MP
概率论
摘要
我们提出了一个新颖的数学模型，力求捕捉生成对抗网络（GANs）的关键设计特征。我们的模型由两个相互作用的自旋玻璃组成，并利用随机矩阵理论的技术对该模型临界点的复杂性进行了广泛的理论分析。结果是对大型 GAN 损失曲面的深入认识，这些认识建立在先前针对更简单网络的见解之上，同时也揭示了该环境下独有的新结构。
引用
@article{arxiv.2101.02524,
title = {A spin-glass model for the loss surfaces of generative adversarial networks},
author = {Nicholas P Baskerville and Jonathan P Keating and Francesco Mezzadri and Joseph Najnudel},
journal= {arXiv preprint arXiv:2101.02524},
year = {2025}
}
备注
26 pages, 9 figures