学习用于概率神经网络的 PAC-Bayes 先验
机器学习
2021-09-22 v1 计算机视觉与模式识别
摘要
近期工作研究了通过优化 PAC-Bayes 界训练的深度学习模型，其先验是在数据子集上学习的。这种组合已被证明不仅能产生准确的分类器，还能给出异常紧的风险证书，为自认证学习（即使用所有数据学习预测器并认证其质量）带来前景。在本工作中，我们从经验上研究先验的作用。我们在 6 个数据集上以不同策略和不同数据量实验学习数据依赖的 PAC-Bayes 先验，并从其对所学预测器测试性能的影响及风险证书紧度方面进行比较。我们探究了应分配多少最优数据量用于构建先验，并表明最优值可能依赖于数据集。我们证明，使用少量先验构建数据来验证先验可带来有前景的结果。我们包含了对欠参数化与过参数化模型的比较，以及对学习先验分布的不同训练目标与正则化策略的经验研究。
引用
@article{arxiv.2109.10304,
title = {Learning PAC-Bayes Priors for Probabilistic Neural Networks},
author = {Maria Perez-Ortiz and Omar Rivasplata and Benjamin Guedj and Matthew Gleeson and Jingyu Zhang and John Shawe-Taylor and Miroslaw Bober and Josef Kittler},
journal= {arXiv preprint arXiv:2109.10304},
year = {2021}
}