从复杂到简单:深度神经网络中重正化的层次化自由能景观
无序系统与神经网络
2020-04-17 v4 统计力学
机器学习
机器学习
摘要
我们发展了一种基于复本法的统计力学方法,以研究受大量训练数据约束的深度宽神经网络的设计空间。具体地,我们在一个简单的前馈感知机网络中分析了隐藏层突触权重与神经元的构型空间,考虑两种情形:随机输入/输出设定与教师-学生设定。通过增强约束强度(即增加训练数据数量),连续的二阶玻璃态转变(随机输入/输出)或二阶晶态转变(教师-学生设定)逐层发生,从靠近输入/输出边界处开始向网络内部深入,固相厚度随数据量对数增长。这意味着网络的典型存储容量随深度呈指数级快速增长。在足够深的网络中,中心部分仍处在液相。我们论证在有限宽度 N 的系统中,弱偏置场可保留在中心并起到对称破缺场的作用,连接系统的相对两侧。连续的玻璃态转变带来了具有超度量性的层次化自由能景观,其在空间中演化:在边界附近最为复杂,而在更深层中重正化为逐渐更简单的景观。这些观察为理解深度神经网络为何高效运行提供了线索。最后,我们给出了一些学习的数值模拟,揭示了被有限宽度 效应所截断的空间异质玻璃态动力学。
引用
@article{arxiv.1910.09918,
title = {From complex to simple : hierarchical free-energy landscape renormalized in deep neural networks},
author = {Hajime Yoshino},
journal= {arXiv preprint arXiv:1910.09918},
year = {2020}
}
备注
61 pages, 20 figures, revised version, to appear in SciPost Phys Core