在小数据情形下PAC-Bayes界能有多紧？
机器学习
2022-01-14 v4 机器学习
统计理论
统计理论
摘要
本文研究如下问题：给定少量数据点，例如N = 30，PAC-Bayes界与测试集界能做得有多紧？对于此类小数据集，测试集界因从训练过程中保留数据而 adversely 影响泛化性能。在此情形下，PAC-Bayes界尤为引人注目，因其能利用所有数据同时学习后验并界定其泛化风险。我们关注具有有界损失的i.i.d.数据情形，并考虑Germain等人的通用PAC-Bayes定理。尽管已知其定理可恢复许多现有PAC-Bayes界，但由其框架可导出的最紧界尚不清楚。对于固定的学习算法与数据集，我们证明最紧的可能界与Catoni考虑的一个界一致；并且，在更自然的、数据集上的分布情形下，我们建立了期望上可达到的最佳界的下界。有趣的是，若后验等于先验，该下界可恢复Chernoff测试集界。此外，为说明这些界能有多紧，我们研究了合成的一维分类任务，其中可对先验与界的形式进行元学习，以数值优化出最紧的可能界。我们发现，在这一简单、可控的场景中，PAC-Bayes界与常用的可比Chernoff测试集界具有竞争力。然而，最尖锐的测试集界仍比我们所考虑的PAC-Bayes界给出更好的泛化误差保证。
引用
@article{arxiv.2106.03542,
title = {How Tight Can PAC-Bayes be in the Small Data Regime?},
author = {Andrew Y. K. Foong and Wessel P. Bruinsma and David R. Burt and Richard E. Turner},
journal= {arXiv preprint arXiv:2106.03542},
year = {2022}
}
备注
Published at Neural Information Processing Systems 2021