具有实例依赖先验的稳定算法的 PAC-Bayes 界
机器学习
2018-08-31 v2 机器学习
摘要
PAC-Bayes 界已被提出用于基于训练样本获得风险估计。本文将 PAC-Bayes 方法与希尔伯特空间值算法所学假设的稳定性相结合。PAC-Bayes 设定使用以期望输出为中心的高斯先验。因此，我们论文的新颖之处在于使用了依数据生成分布定义的先验。我们的主要结果用假设稳定性系数估计随机化算法的风险。我们还给出了 SVM 分类器的新界，并在实验上与其他已知界进行比较。我们的界似乎是首个能算出非平凡值的基于稳定性的界。
引用
@article{arxiv.1806.06827,
title = {PAC-Bayes bounds for stable algorithms with instance-dependent priors},
author = {Omar Rivasplata and Emilio Parrado-Hernandez and John Shawe-Taylor and Shiliang Sun and Csaba Szepesvari},
journal= {arXiv preprint arXiv:1806.06827},
year = {2018}
}
备注
16 pages, discussion of theory and experiments in the main body, detailed proofs and experimental details in the appendices