基于 ERM 与 Rademacher 复杂度的经验贝叶斯：泊松模型
统计理论
2023-07-06 v1 统计理论
摘要
我们考虑（多元）泊松均值的经验贝叶斯估计问题。现有被理论证明在最小化遗憾（相对于知道先验的贝叶斯预言机的超额风险）上最优的解存在若干缺陷。例如，经典的 Robbins 估计量不保持贝叶斯估计量的单调性，且在中等样本量下表现不佳。基于最小距离和非参数最大似然（NPMLE）方法的估计量纠正了这些问题，但计算代价高，复杂度随维度指数增长。扩展 Barbehenn and Zhao (2022) 的方法，在本工作中我们基于经验风险最小化（ERM）构造了单调估计量，其保留类似的理论保证且可更高效计算。将 Liang et al. (2015) 的偏移 Rademacher 复杂度思想适配到经验贝叶斯中非标准的损失与函数类，我们证明形状约束 ERM 估计量在一维下达到常数因子内、多维下达到对数因子内的最小最大遗憾。
引用
@article{arxiv.2307.02070,
title = {Empirical Bayes via ERM and Rademacher complexities: the Poisson model},
author = {Soham Jana and Yury Polyanskiy and Anzo Teh and Yihong Wu},
journal= {arXiv preprint arXiv:2307.02070},
year = {2023}
}
备注
34 pages, 1 Figure, to appear in the 2023 Conference of Learning Theory (COLT)