PAC-Bayesian 传输界
机器学习
2019-11-22 v3 机器学习
摘要
经验上，PAC-Bayesian 分析已知能为实用机器学习算法给出紧的风险界。然而，在其朴素形式下，它只能处理随机预测器，而此类预测器很少被使用，确定性预测器在实践中往往表现良好。为填补这一空白，我们发展了一个新的泛化误差界，即 PAC-Bayesian 传输界，从最优传输的角度统一了 PAC-Bayesian 分析与链方法。它是首个根据任意两个预测器之间的距离关联其风险、并能够评估面对连续损失函数时随机预测器去随机化代价的 PAC-Bayesian 界。作为一个例子，我们给出了谱归一化神经网络（NNs）去随机化代价的上界，以评估随机性对神经网络泛化贡献的程度。
引用
@article{arxiv.1905.13435,
title = {PAC-Bayesian Transportation Bound},
author = {Kohei Miyaguchi},
journal= {arXiv preprint arXiv:1905.13435},
year = {2019}
}