中文

通信约束下稀疏分布估计中打破维度依赖

机器学习 2021-06-17 v1 机器学习

摘要

我们考虑在 bb 比特通信约束下观测样本、估计 ddss 稀疏离散分布的问题。该问题在 2\ell_2 估计误差上的已知最优结果为 O(slog(d/s)n2b)O\left( \frac{s\log\left( {d}/{s}\right)}{n2^b}\right)。令人惊讶的是,我们证明当样本量 nn 超过最小阈值 n(s,d,b)n^*(s, d, b) 时,我们可以达到 O(sn2b)O\left( \frac{s}{n2^b}\right)2\ell_2 估计误差。这意味着当 n>n(s,d,b)n>n^*(s, d, b) 时,收敛速率不依赖于环境维度 dd,且与事先已知分布支撑集时相同。我们接下来提出问题:``允许无维度收敛的最小 n(s,d,b)n^*(s, d, b) 是多少?''。为给出 n(s,d,b)n^*(s, d, b) 的上界,我们提出了新颖的局部化方案来准确高效地定位未知支撑集。对于非交互式设置,我们证明 n(s,d,b)=O(min(d2log2d/2b,s4log2d/2b))n^*(s, d, b) = O\left( \min \left( {d^2\log^2 d}/{2^b}, {s^4\log^2 d}/{2^b}\right) \right)。此外,我们将该问题与非自适应分组测试相联系,并在 n=Ω~(s4log4d/2b)n = \tilde{\Omega}\left({s^4\log^4 d}/{2^b}\right) 时获得一种多项式时间估计方案。该基于分组测试的方案对稀疏度参数 ss 自适应,因此可在不知晓 ss 的情况下应用。对于交互式设置,我们提出了一种新颖的基于树的估计方案,并证明实现无维度收敛所需的最小样本量可进一步降低至 n(s,d,b)=O~(s2log2d/2b)n^*(s, d, b) = \tilde{O}\left( {s^2\log^2 d}/{2^b} \right)

关键词

引用

@article{arxiv.2106.08597,
  title  = {Breaking The Dimension Dependence in Sparse Distribution Estimation under Communication Constraints},
  author = {Wei-Ning Chen and Peter Kairouz and Ayfer Özgür},
  journal= {arXiv preprint arXiv:2106.08597},
  year   = {2021}
}