基于 Surrogate PAC-Bayes 的学习
机器学习
2024-11-27 v2 机器学习
摘要
PAC-Bayes 学习是一种综合性的设置，用于（i）研究学习算法的泛化能力，以及（ii）通过优化泛化界限来推导新的学习算法。然而，优化泛化界限在可行性或计算原因，或者两者兼顾时可能并非总能实现。例如，反复查询经验风险可能计算成本极高。为此，我们引入一种新颖的原则方法，通过优化一系列来源于 PAC-Bayes 泛化界限的替代训练目标来构建迭代学习算法。关键论点是将经验风险（作为假设函数）在泛化界限中替换为其在可构建的低维函数空间上的投影：这些投影相对于初始风险要高效得多。除了为学习通过替代 PAC-Bayes 界限提供通用配方之外，我们（i）贡献了建立迭代优化替代方案意味着优化原始泛化界限的理论结果，（ii）将此策略实例化到元学习框架中，引入一个提供元梯度闭式表达式的元目标，（iii）以受工业生化问题启发的数值实验说明了我们的方案。
引用
@article{arxiv.2410.10230,
title = {Learning via Surrogate PAC-Bayes},
author = {Antoine Picard-Weibel and Roman Moscoviz and Benjamin Guedj},
journal= {arXiv preprint arXiv:2410.10230},
year = {2024}
}
备注
20 pages