论数据在PAC-Bayes界中的作用
机器学习
2020-10-28 v2 机器学习
摘要
PAC-Bayes界中的主导项通常是后验与先验之间的Kullback–Leibler散度。对于基于固定后验核经验风险的所谓线性PAC-Bayes风险界，可通过选择先验为期望后验来最小化界的期望值，我们称此为先验预言机（oracle prior），因其依赖于分布。本工作中，我们表明基于先验预言机的界可能非最优：在某些情况下，使用数据依赖的先验预言机（即后验的条件期望，给定训练数据的子集且该子集随后从经验风险项中排除）可获得更强的界。虽然利用数据学习先验是一种已知启发式方法，但其在最优界中的本质作用尚属新颖。事实上，我们表明使用数据可能意味着空泛界与非空泛界之间的差别。我们将这一新原理应用于非凸学习设定，在MNIST与Fashion MNIST上模拟带与不带留出数据的数据依赖先验预言机，并在两种情况下展示了新的非空泛界。
引用
@article{arxiv.2006.10929,
title = {On the role of data in PAC-Bayes bounds},
author = {Gintare Karolina Dziugaite and Kyle Hsu and Waseem Gharbieh and Gabriel Arpino and Daniel M. Roy},
journal= {arXiv preprint arXiv:2006.10929},
year = {2020}
}
备注
28 pages, 8 figures