深度神经网络的扩展临界区
机器学习
2022-03-25 v1 无序系统与神经网络
统计力学
人工智能
机器学习
摘要
深度神经网络(DNNs)已成功应用于许多现实世界问题,但对其动力学与计算原理的完整理解仍然欠缺。分析 DNNs 的传统理论框架通常假设耦合权重服从高斯统计的随机网络。然而,非高斯、重尾耦合是 DNNs 中普遍存在的现象。在此,通过结合重尾随机矩阵理论与非平衡统计物理,我们发展了 DNNs 的一种新型平均场理论,其预测重尾权重能够在无需精细调节参数的情况下促成扩展临界区的涌现。在此扩展临界区中,DNNs 跨层展现出丰富而复杂的传播动力学。我们进一步阐明,扩展临界性赋予 DNNs 深远的计算优势:平衡内部神经表征的收缩与扩张并加速训练过程,从而为高效神经架构的设计提供理论指导。
引用
@article{arxiv.2203.12967,
title = {Extended critical regimes of deep neural networks},
author = {Cheng Kevin Qu and Asem Wardak and Pulin Gong},
journal= {arXiv preprint arXiv:2203.12967},
year = {2022}
}