Mehler 公式、分支过程与深度神经网络的组合核
机器学习
2021-01-20 v2 机器学习
统计理论
统计理论
摘要
我们利用组合核与分支过程经由 Mehler 公式的联系来研究深度神经网络。这一新的概率视角为我们提供了关于激活函数在组合神经网络中数学作用的新观点。我们研究了组合核的未缩放与重缩放极限,并探讨了随着组合深度增加其极限行为的不同相。我们通过刻画组合深度、样本量、维数以及激活函数非线性之间的相互作用,研究了组合核与神经网络的记忆容量。我们给出了组合核特征值的显式公式,其量化了相应再生核 Hilbert 空间的复杂度。在方法层面,我们提出了一种新的随机特征算法,通过设计新的激活函数来压缩组合层。
引用
@article{arxiv.2004.04767,
title = {Mehler's Formula, Branching Process, and Compositional Kernels of Deep Neural Networks},
author = {Tengyuan Liang and Hai Tran-Bach},
journal= {arXiv preprint arXiv:2004.04767},
year = {2021}
}