PACMAN：考虑准确率与负对数损失之间失配的 PAC 风格界
机器学习
2021-12-13 v1 机器学习
摘要
机器学习算法在分类任务上的最终性能通常根据基于测试集的经验误差概率（或准确率）来衡量。而这些算法是通过最小化一个通常不同——更便利——的、基于训练集的损失函数来优化的。对于分类任务，该损失函数常为负对数损失，其导出著名的交叉熵风险，从数值角度看通常比误差概率表现更好。关于泛化误差的传统研究通常未考虑训练与测试阶段损失之间的潜在失配。本工作中，我们基于点态 PAC 方法引入一种关于泛化间隙的分析，考虑以准确率度量的测试与以负对数损失训练之间的失配。我们将此分析标记为 PACMAN。基于上述失配可写为似然比这一事实，可利用集中不等式，依据某些有意义的信息论量给出点态 PAC 界，从而为泛化问题提供一些见解。我们还对所得界进行了分析，并与文献中已有结果作了比较。
引用
@article{arxiv.2112.05547,
title = {PACMAN: PAC-style bounds accounting for the Mismatch between Accuracy and Negative log-loss},
author = {Matias Vera and Leonardo Rey Vega and Pablo Piantanida},
journal= {arXiv preprint arXiv:2112.05547},
year = {2021}
}
备注
Submitted to be considered for publication in Information and Inference: a Journal of the IMA