多层感知机的 PAC-Bayesian 泛化界
机器学习
2020-06-18 v2 机器学习
摘要
我们研究了具有交叉熵损失的多层感知机（MLPs）的 PAC-Bayesian 泛化界。首先，我们从两个方面为 MLPs 引入概率解释：（i）MLPs 刻画了一族 Gibbs 分布；（ii）对 MLPs 最小化交叉熵损失等价于贝叶斯变分推断，这为研究 MLPs 上的 PAC-Bayesian 界建立了坚实的概率基础。此外，基于证据下界（ELBO），我们证明具有交叉熵损失的 MLPs 固有地保证 PAC-Bayesian 泛化界，且最小化 MLPs 的 PAC-Bayesian 泛化界等价于最大化 ELBO。最后，我们在基准数据集上验证了所提出的 PAC-Bayesian 泛化界。
引用
@article{arxiv.2006.08888,
title = {PAC-Bayesian Generalization Bounds for MultiLayer Perceptrons},
author = {Xinjie Lan and Xin Guo and Kenneth E. Barner},
journal= {arXiv preprint arXiv:2006.08888},
year = {2020}
}