潜在重尾下的 PAC-Bayes 理论
机器学习
2019-12-19 v2 机器学习
摘要
我们推导了重尾损失的 PAC-Bayesian 学习保证，并获得一种新颖的最优 Gibbs 后验，其在对数置信度下享有有限样本超额风险界。我们的核心技术本身利用 PAC-Bayesian 不等式来推导一个鲁棒风险估计量，其按设计易于计算。特别地，仅假设损失分布的前三阶矩有界，由该估计量导出的学习算法即可达到近乎次高斯的统计误差，上限取决于先验的质量。
引用
@article{arxiv.1905.07900,
title = {PAC-Bayes under potentially heavy tails},
author = {Matthew J. Holland},
journal= {arXiv preprint arXiv:1905.07900},
year = {2019}
}