无限宽度极限下两层ReLU神经网络的相图
机器学习
2020-10-14 v2 机器学习
摘要
神经网络在不同超参数选择下的训练行为如何，是神经网络研究中的一个重要问题。受统计力学中相图的启发，本文绘制了无限宽度极限下两层ReLU神经网络的相图，以完整刻画其动力学区域及它们对初始化相关超参数的依赖。通过实验和理论两种方法，我们基于输入权重在宽度趋于无穷时的相对变化（分别趋于 、 和 ）在相图中识别出三个区域：线性区、临界区和凝聚区。在线性区，NN训练动力学近似线性，类似于具有指数损失衰减的随机特征模型。在凝聚区，我们通过实验证明活跃神经元凝聚在若干离散方向上。临界区作为上述两区之间的边界，表现出以平均场模型为典型代表的中间非线性行为。总体而言，我们的两层ReLU NN相图为未来研究提供了地图，并且是更系统地研究不同结构NN的训练行为与隐式正则化的第一步。
引用
@article{arxiv.2007.07497,
title = {Phase diagram for two-layer ReLU neural networks at infinite-width limit},
author = {Tao Luo and Zhi-Qin John Xu and Zheng Ma and Yaoyu Zhang},
journal= {arXiv preprint arXiv:2007.07497},
year = {2020}
}