样本级信息论泛化界的正式局限性
机器学习
2022-12-14 v2 机器学习
摘要
一些最紧的信息论泛化界依赖于所学假设与单个训练样本之间的平均信息。然而，这些样本级界仅针对期望泛化差距推导得出。我们表明，即便对于期望平方泛化差距，也不存在此类样本级信息论界。对于 PAC-Bayes 与单次抽取（single-draw）界同样如此。值得注意的是，依赖于样本对中信息的 PAC-Bayes、单次抽取与期望平方泛化差距界是存在的。
引用
@article{arxiv.2205.06915,
title = {Formal limitations of sample-wise information-theoretic generalization bounds},
author = {Hrayr Harutyunyan and Greg Ver Steeg and Aram Galstyan},
journal= {arXiv preprint arXiv:2205.06915},
year = {2022}
}
备注
2022 IEEE Information Theory Workshop