深度学习的概率表示
机器学习
2019-08-27 v1 机器学习
摘要
在本工作中,我们引入一种新颖的深度学习概率表示,其从三方面对深度神经网络 (DNNs) 给出显式解释:(i) 神经元定义吉布斯分布的能量;(ii) DNNs 的隐藏层构造吉布斯分布;(iii) DNNs 的整体架构可解释为贝叶斯神经网络。基于所提出的概率表示,我们研究深度学习的两个基本性质:层次性与泛化性。首先,我们从贝叶斯视角显式表述层次性性质,即某些隐藏层构造先验分布,其余层构造似然分布。其次,我们证明 DNNs 通过学先验分布具有显式正则化,且学习算法是降低 DNNs 泛化能力的一个原因。此外,我们澄清了传统泛化理论无法解释的两个 DNNs 经验现象。仿真结果在一个合成数据集上验证了所提出的概率表示及基于它的对这些深度学习性质的洞察。
引用
@article{arxiv.1908.09772,
title = {A Probabilistic Representation of Deep Learning},
author = {Xinjie Lan and Kenneth E. Barner},
journal= {arXiv preprint arXiv:1908.09772},
year = {2019}
}