积分概率度量的PAC-Bayes界
机器学习
2023-01-02 v8 机器学习
摘要
我们给出了一种PAC-Bayes风格的泛化界，其允许用多种积分概率度量（IPM）替代KL散度。我们提供了该界在IPM为全变差分量和Wasserstein距离下的具体实例。所得界的一个显著特征是，它们在最坏情况（先验与后验彼此远离时）自然插值于经典的一致收敛界，而在有利情况（后验与先验接近时）给出改进的界。这说明了用算法相关和数据相关的分量强化经典泛化界的可能性，从而使其更适合分析使用大假设空间的算法。
引用
@article{arxiv.2207.00614,
title = {Integral Probability Metrics PAC-Bayes Bounds},
author = {Ron Amit and Baruch Epstein and Shay Moran and Ron Meir},
journal= {arXiv preprint arXiv:2207.00614},
year = {2023}
}
备注
Accepted to NeurIPS 2022