重访 Le Cam 方程:凸密度类上的精确极小极大速率
统计理论
2023-10-24 v2 机器学习
统计理论
摘要
我们研究在凸密度类上推导密度估计极小极大速率的经典问题。基于 Le Cam (1973)、Birge (1983, 1986)、Wong 与 Shen (1995)、Yang 与 Barron (1999) 的开创性工作,我们确定了任意凸密度类上的精确(至多差常数)极小极大速率。因此,本工作扩展了这些已知结果,证明了密度类的局部度量熵在此类设定下总能刻画极小极大最优速率。我们的界在比以往考虑的密度类丰富性更弱的假设下,为参数与非参数凸密度类提供了统一的视角。我们提出的“多阶段筛”MLE 适用于任意此类凸密度类。我们进一步证明该估计量也能自适应于感兴趣的真实潜在密度。我们将风险界应用于重新推导已知的极小极大速率,包括有界全变分与 Hölder 密度类。我们进一步通过推导较少被研究类(例如密度的凸混合)的上界来说明该结果的效用。
引用
@article{arxiv.2210.11436,
title = {Revisiting Le Cam's Equation: Exact Minimax Rates over Convex Density Classes},
author = {Shamindra Shrotriya and Matey Neykov},
journal= {arXiv preprint arXiv:2210.11436},
year = {2023}
}
备注
Total paper (46 pages, 2 figures): Main paper (17 pages, 2 figures) + Appendix (29 pages). Updated to include proof of adaptivity of estimator