中文

均值估计中的最优性:超越最坏情况、超越次高斯、以及超越 $1+\alpha$ 矩

统计理论 2023-11-22 v1 信息论 机器学习 math.IT 机器学习 统计理论

摘要

在改进我们对均值估计等基本统计问题的算法理解方面,兴趣日益增长,其驱动力在于理解我们能从宝贵数据中提取的极限。R\mathbb{R} 中均值估计的最先进结果是 1) [LV22] 的最优次高斯均值估计器,对所有具有有限但未知方差的分布具有紧的次高斯常数;以及 2) [BCL13] 的中位数-of-均值算法分析和 [DLLO16] 的下界,刻画了仅存在 1+α1+\alpha 矩(α(0,1)\alpha \in (0,1))的分布的大 O 最优误差。然而,这两个结果都仅在最坏情况下最优。我们开启了均值估计问题的细粒度研究:算法能否利用输入分布的有用特征来击败次高斯速率,而无需显式知晓这些特征?我们以出乎意料的细致答案解决了这一问题:“在有限 regime 下可以,但一般而言不行”。对于任意具有有限均值的分布 pp,我们构造一个分布 qq,其均值与 pp 的均值良好分离,但 ppqq 以高概率不可区分,且 qq 进一步在常数倍内保持 pp 的矩。主要后果是,对于任何分布,没有合理的估计器能在渐近上取得优于次高斯误差速率的表现,与 [LV22] 的最坏情况结果一致。更一般地,我们引入一个新的定义框架来分析算法的细粒度最优性,称之为“邻域最优性”,其插在不可达的强“实例最优性”与平凡弱的“可容许性”定义之间。应用新框架,我们展示了中位数-of-均值在常数因子内是邻域最优的。寻找无常数因子松弛的邻域最优估计器仍是开放问题。

关键词

引用

@article{arxiv.2311.12784,
  title  = {Optimality in Mean Estimation: Beyond Worst-Case, Beyond Sub-Gaussian, and Beyond $1+\alpha$ Moments},
  author = {Trung Dang and Jasper C. H. Lee and Maoyuan Song and Paul Valiant},
  journal= {arXiv preprint arXiv:2311.12784},
  year   = {2023}
}

备注

27 pages, to appear in NeurIPS 2023. Abstract shortened to fit arXiv limit