随机深度神经网络函数敏感性的大偏差分析
无序系统与神经网络
2020-02-21 v2 机器学习
机器学习
摘要
平均场理论已成功用于分析无限宽度极限下的深度神经网络（DNN）。鉴于实际 DNN 的有限规模，我们利用大偏差理论与路径积分分析来研究 DNN 所表示函数相对于其典型平均场解的偏差。所研究的参数扰动包括权重稀疏化（稀释）与二值化，这些在模型简化中常用，涉及 ReLU 与符号激活函数。我们发现，具有 ReLU 激活的随机网络相对于具有符号激活的对应网络对参数扰动更具鲁棒性，这可以说体现在它们所生成函数的简单性上。
引用
@article{arxiv.1910.05769,
title = {Large Deviation Analysis of Function Sensitivity in Random Deep Neural Networks},
author = {Bo Li and David Saad},
journal= {arXiv preprint arXiv:1910.05769},
year = {2020}
}