PAC-Bayes 与反向传播
机器学习
2019-10-07 v5 机器学习
摘要
我们探索了“PAC-Bayes 与反向传播”（PBB）这一类方法，通过最小化 PAC-Bayes 界来训练概率神经网络。我们提出了两个训练目标，一个由先前已知的 PAC-Bayes 界导出，第二个由一个新的 PAC-Bayes 界导出。两个训练目标均在 MNIST 和多个 UCI 数据集上进行了评估。我们的实验显示出两个引人注目的观察：我们获得了具有竞争力的测试集误差估计（MNIST 上约 1.4%），同时我们计算出的非平凡界的值（MNIST 上约 2.3%）比先前结果紧得多。这些观察表明，由 PBB 训练的神经网络可能导致自界学习，其中可用数据可同时用于学习预测器并证明其风险，无需遵循数据划分协议。
引用
@article{arxiv.1908.07380,
title = {PAC-Bayes with Backprop},
author = {Omar Rivasplata and Vikram M Tankasali and Csaba Szepesvari},
journal= {arXiv preprint arXiv:1908.07380},
year = {2019}
}