随机深度神经网络偏向于简单函数
机器学习
2019-12-04 v2 无序系统与神经网络
机器学习
数学物理
math.MP
量子物理
摘要
我们证明，由带 ReLU 激活函数的随机宽深度神经网络生成的二进制比特串分类器偏向于简单函数。简单性由以下两性质刻画。对任意给定输入比特串，具有不同分类的最近输入比特串的平均 Hamming 距离为至少 sqrt(n / (2π log n))，其中 n 为串长。此外，若初始串的比特被随机翻转，改变分类所需的平均翻转次数随 n 线性增长。这些结果在具两隐藏层的深度神经网络数值实验中得到确认，并解决了声称随机深度神经网络偏向于简单函数的猜想。该猜想由 [Valle Pérez et al., ICLR 2019] 提出并数值探究，以解释深度学习算法不合理的良好泛化性质。随机深度神经网络所生成函数的概率分布是 PAC-Bayesian 泛化界中先验概率分布的佳选。我们的结果构成了刻画该分布的基础性一步，从而有助于理解深度学习算法的泛化性质。
引用
@article{arxiv.1812.10156,
title = {Random deep neural networks are biased towards simple functions},
author = {Giacomo De Palma and Bobak Toussi Kiani and Seth Lloyd},
journal= {arXiv preprint arXiv:1812.10156},
year = {2019}
}