中文

具有未知异方差方差的最优均值估计

统计理论 2023-12-06 v1 数据结构与算法 机器学习 统计理论

摘要

给定从一组具有共同均值但方差不同且未知的 Gaussian 变量中提取的数据,估计其共同均值的最佳算法是什么?我们为这一任务提出了一种直观且高效的算法。由于不同的闭式保证可能难以比较,Subset-of-Signals 模型可作为异方差均值估计的基准:给定 nn 个 Gaussian 变量,其中包含一个大小为 mm 的未知子集,其方差以 1 为界,作为 nnmm 函数的最优估计误差是多少?我们的算法在相差对数因子的范围内解决了这一开放问题,当 m=ncm = n^c(对于所有 0<c<10<c<1)时,将先前已知的最优估计误差改进了多项式因子。特别值得注意的是,当存在 m=O~(n1/4)m = \tilde{O}(n^{1/4}) 个方差有界样本时,我们获得了 o(1)o(1) 的误差,而先前的工作需要 m=Ω~(n1/2)m = \tilde{\Omega}(n^{1/2})。最后,我们表明在多维环境中,即使对于 d=2d=2,我们的技术也能实现与已知每个样本方差相当的速率。

关键词

引用

@article{arxiv.2312.02417,
  title  = {Near-Optimal Mean Estimation with Unknown, Heteroskedastic Variances},
  author = {Spencer Compton and Gregory Valiant},
  journal= {arXiv preprint arXiv:2312.02417},
  year   = {2023}
}