基于信息密度第 $m$ 阶中心矩的泛化误差界
信息论
2020-09-10 v2 机器学习
math.IT
机器学习
摘要
我们提出了一种推导随机学习算法泛化误差界的一般方法。我们的方法可用于获得平均泛化误差的界及其尾概率的界，这既适用于每次使用算法时随机生成新假设的情形——正如概率近似正确（PAC）-贝叶斯文献中常假设的那样——也适用于单次抽取情形，即假设仅被抽取一次。针对最后一种情形，我们提出了一个显式依赖于信息密度中心矩的新界。该界表明，可控的信息密度矩的阶数越高，泛化界对所需置信水平的依赖就越缓和。此外，我们利用二元假设检验的工具推导了第二个界，它显式依赖于信息密度的尾部。该界证实，信息密度尾部的快速衰减会使泛化界对置信水平的依赖更为有利。
引用
@article{arxiv.2004.09148,
title = {Generalization Error Bounds via $m$th Central Moments of the Information Density},
author = {Fredrik Hellström and Giuseppe Durisi},
journal= {arXiv preprint arXiv:2004.09148},
year = {2020}
}
备注
ISIT 2020. Corrected Corollary 7 and the discussion in section II-D