中文

基于贝叶斯直方图的 Wasserstein 距离下内存高效极小极大分布估计

统计理论 2023-07-20 v1 统计计算 机器学习 统计理论

摘要

我们在 i.i.d 采样机制下研究 [0,1]d[0,1]^d 上基于 Wasserstein WvW_v1v<1 \leq v < \infty)距离的分布估计的贝叶斯直方图。我们新近证明:当 d<2vd < 2v 时,直方图具备一种特殊的“内存高效”性质,即相对于样本量 nn,需要 nd/2vn^{d/2v} 阶的箱数即可达到极小极大速率最优。该结果对后验均值直方图成立,且就后验收缩而言:在 Borel 概率测度类及若干光滑密度类下成立。所达到的内存占用相较现有极小极大最优过程以 nn 的多项式因子占优;例如与作为 Borel 概率测度类中极小极大估计量的经验测度相比,内存占用减少 n1d/2vn^{1 - d/2v} 因子。此外,构建后验均值直方图与后验本身均可关于 nn 超线性地完成。由于 W1,W2W_1,W_2 度量的流行以及 d<2vd < 2v 情形所提供的覆盖,我们的结果在 (d=1,v=1,2),(d=2,v=2),(d=3,v=2)(d=1,v =1,2), (d=2,v=2), (d=3,v=2) 设定中最具实际意义,并给出若干此类情形的仿真以佐证理论。

关键词

引用

@article{arxiv.2307.10099,
  title  = {Memory Efficient And Minimax Distribution Estimation Under Wasserstein Distance Using Bayesian Histograms},
  author = {Peter Matthew Jacobs and Lekha Patel and Anirban Bhattacharya and Debdeep Pati},
  journal= {arXiv preprint arXiv:2307.10099},
  year   = {2023}
}