基于条件信息测度的快速率损失界及其在神经网络中的应用
机器学习
2021-03-11 v3 信息论
math.IT
机器学习
摘要
我们提出一个框架，用于推导有界损失函数下随机学习算法测试损失的界。借鉴Steinke & Zakynthinou (2020)，该框架得到的界依赖于在给定由之形成训练集的更大样本集条件下，输出假设与训练集选择之间的条件信息密度。此外，这些界涉及平均测试损失及其尾概率，同时适用于PAC-Bayesian和单次抽取设定。若条件信息密度在训练集大小上一致有界，我们的界以衰减。这与文献中涉及条件信息测度的尾界不同，后者具有较不利的依赖。我们通过对在MNIST和Fashion-MNIST上训练的一些神经网络架构，所达测试损失的非空估计，展示了尾界的实用性。
引用
@article{arxiv.2010.11552,
title = {Fast-Rate Loss Bounds via Conditional Information Measures with Applications to Neural Networks},
author = {Fredrik Hellström and Giuseppe Durisi},
journal= {arXiv preprint arXiv:2010.11552},
year = {2021}
}