自认证神经网络的进展
机器学习
2021-12-13 v3 计算机视觉与模式识别
摘要
若一种学习方法利用所有可用数据同时学习一个预测器并以对未见过的数据有效的紧统计证书认证其质量，则称其为自认证的。近期工作表明，通过优化 PAC-Bayes 界训练的神经网络模型不仅产生准确预测器，还产生紧风险证书，为实现自认证学习带来前景。在此背景下，基于 PAC-Bayes 界的学习和认证策略尤其有吸引力，因为它们能利用所有数据学习后验，同时用紧数值证书认证其风险。本文中，我们评估由 PAC-Bayes 启发的目标所学习的概率神经网络在自认证方面的进展。我们在 4 个分类数据集上实证比较了确定性预测器的经典测试集界与随机自认证预测器的 PAC-Bayes 界。我们首先表明这两类泛化界与样本外测试集误差相距不远。然后我们表明在数据匮乏情形下，留出数据用于测试集界会对泛化性能产生不利影响，而基于 PAC-Bayes 界的自认证策略不受此缺陷影响，证明它们可能是小数据情形的合适选择。我们还发现由 PAC-Bayes 启发目标学习的概率神经网络产生的证书可与常用测试集界惊人地有竞争力。
引用
@article{arxiv.2111.07737,
title = {Progress in Self-Certified Neural Networks},
author = {Maria Perez-Ortiz and Omar Rivasplata and Emilio Parrado-Hernandez and Benjamin Guedj and John Shawe-Taylor},
journal= {arXiv preprint arXiv:2111.07737},
year = {2021}
}