贝叶斯学习中最小超额风险的率失真分析
机器学习
2021-07-20 v2 信息论
math.IT
摘要
在参数化贝叶斯学习中，假设参数 W 上有先验，该参数决定了样本的分布。在此设定下，最小超额风险（MER）定义为从数据学习可达到的最小期望损失与若观测到 W 可达到的最小期望损失之差。本文基于并扩展 (Xu & Raginsky, 2020) 近期的结果，分析贝叶斯学习中的 MER 并推导其信息论界。我们将该问题表述为（约束）率失真优化，并展示其解如何被另外两个更易于研究的率失真函数上下界定。下界表示任何从参数 W 使用 R 比特信息的处理所能达到的最小可能超额风险。对于上界，优化进一步约束为从训练集使用 R 比特信息，这一设定将 MER 与频率学派学习中泛化差距的信息论界联系起来。我们推导了这些上下界之差的信息论界，并表明在特定条件下它们能为 MER 提供阶数上紧的速率。该分析增进了对贝叶斯学习信息论本质的理解，并提供了新的界。
引用
@article{arxiv.2105.04180,
title = {Rate-Distortion Analysis of Minimum Excess Risk in Bayesian Learning},
author = {Hassan Hafez-Kolahi and Behrad Moniri and Shohreh Kasaei and Mahdieh Soleymani Baghshah},
journal= {arXiv preprint arXiv:2105.04180},
year = {2021}
}
备注
Accepted at ICML 2021