深度学习中的精确相变
机器学习
2022-05-26 v1 无序系统与神经网络
应用物理
摘要
本工作报道了深度学习特有的、现象学上紧密遵循统计物理的一类一级与二级相变。具体而言，我们证明训练损失中预测误差与模型复杂度的竞争导致单隐藏层网络发生二级相变、多隐藏层网络发生一级相变。所提理论与神经网络优化直接相关，并指向贝叶斯深度学习中后验坍缩问题的一种起源。
引用
@article{arxiv.2205.12510,
title = {Exact Phase Transitions in Deep Learning},
author = {Liu Ziyin and Masahito Ueda},
journal= {arXiv preprint arXiv:2205.12510},
year = {2022}
}
备注
preprint