递归PAC-Bayes：无信息损失的顺序先验更新的频率派方法
机器学习
2025-04-10 v3 机器学习
摘要
PAC-Bayesian分析是一个将先验知识纳入学习的频率派框架。它受贝叶斯学习的启发，允许顺序数据处理，并自然地将一个处理步骤的后验转化为下一步的先验。然而，尽管经过二十多年的研究，PAC-Bayes仍然无法在不丢失沿途置信信息的情况下顺序更新先验。虽然PAC-Bayes允许构建数据信息先验，但最终置信区间仅取决于未用于构建先验的点数，而先验中的置信信息（与用于构建先验的点数相关）丢失了。这限制了顺序先验更新的可能性和益处，因为最终界限仅取决于最终批次的大小。我们提出了一种新颖的、事后看来令人惊讶的简单且强大的PAC-Bayesian过程，允许无信息损失的顺序先验更新。该过程基于随机分类器期望损失的一种新颖分解。该分解将后验损失重写为相对于先验的按比例缩小的损失的超额损失加上先验的按比例缩小的损失，后者被递归地界定。作为附带结果，我们还提出了split-kl和PAC-Bayes-split-kl不等式到离散随机变量的推广，用于界定超额损失，这本身可能具有独立意义。在实证评估中，新过程显著优于现有技术。
引用
@article{arxiv.2405.14681,
title = {Recursive PAC-Bayes: A Frequentist Approach to Sequential Prior Updates with No Information Loss},
author = {Yi-Shan Wu and Yijie Zhang and Badr-Eddine Chérief-Abdellatif and Yevgeny Seldin},
journal= {arXiv preprint arXiv:2405.14681},
year = {2025}
}