鲁棒 PAC$^m$：在模型误设定与离群值下的集成模型训练
机器学习
2023-04-25 v3 信息论
math.IT
机器学习
摘要
标准贝叶斯学习在模型误设定以及存在离群值的情况下，已知具有次优的泛化能力。PAC-Bayes 理论表明，贝叶斯学习所最小化的自由能判据，是在采样分布未受离群值污染的假设下，对 Gibbs 预测器(即从后验中随机抽取的单模型)泛化误差的界。这一观点为贝叶斯学习在模型误设定(需要集成)以及数据受离群值影响时的局限性提供了依据。在近期工作中，推导了称为 PAC 的 PAC-Bayes 界，以引入考虑集成预测器性能的自由能度量，从而在误设定下获得增强的性能。本工作提出了一种新颖的鲁棒自由能判据，将广义对数得分函数与 PAC 集成界相结合。所提出的自由能训练判据产生的预测分布能够同时抵消误设定(关于似然与先验分布两方面)与离群值的有害影响。
引用
@article{arxiv.2203.01859,
title = {Robust PAC$^m$: Training Ensemble Models Under Misspecification and Outliers},
author = {Matteo Zecchin and Sangwoo Park and Osvaldo Simeone and Marios Kountouris and David Gesbert},
journal= {arXiv preprint arXiv:2203.01859},
year = {2023}
}