通信约束下稀疏分布估计中打破维度依赖
机器学习
2021-06-17 v1 机器学习
摘要
我们考虑在 比特通信约束下观测样本、估计 维 稀疏离散分布的问题。该问题在 估计误差上的已知最优结果为 。令人惊讶的是,我们证明当样本量 超过最小阈值 时,我们可以达到 的 估计误差。这意味着当 时,收敛速率不依赖于环境维度 ,且与事先已知分布支撑集时相同。我们接下来提出问题:``允许无维度收敛的最小 是多少?''。为给出 的上界,我们提出了新颖的局部化方案来准确高效地定位未知支撑集。对于非交互式设置,我们证明 。此外,我们将该问题与非自适应分组测试相联系,并在 时获得一种多项式时间估计方案。该基于分组测试的方案对稀疏度参数 自适应,因此可在不知晓 的情况下应用。对于交互式设置,我们提出了一种新颖的基于树的估计方案,并证明实现无维度收敛所需的最小样本量可进一步降低至 。
引用
@article{arxiv.2106.08597,
title = {Breaking The Dimension Dependence in Sparse Distribution Estimation under Communication Constraints},
author = {Wei-Ning Chen and Peter Kairouz and Ayfer Özgür},
journal= {arXiv preprint arXiv:2106.08597},
year = {2021}
}