中文

乘积分布下用于测试与学习的降采样方法

数据结构与算法 2021-11-17 v2 计算复杂性 机器学习

摘要

我们研究了分布无关的性质测试与学习问题,其中未知概率分布是 Rd\mathbb{R}^d 上的乘积分布。对于许多重要的函数类,如半空间交集、多项式阈值函数、凸集以及 kk-交替函数,已知算法的复杂度要么依赖于分布支撑集的大小,要么仅被证明适用于特定乘积分布实例。我们引入了一种称为降采样的一般性方法,解决了这些问题。降采样利用了乘积分布的“直线等周性”概念,进一步强化了等周性、测试与学习之间的联系。利用该技术,我们在 Rd\mathbb{R}^d 上的乘积分布下获得了新的高效分布无关算法:1. 对函数 [n]d{0,1}[n]^d \to \{0,1\} 的非自适应单边单调性测试给出了更简洁的证明,并将未知乘积分布上单调性测试的采样复杂度从 O(d7)O(d^7) [Black, Chakrabarty, & Seshadhri, SODA 2020] 改进到 O~(d3)\widetilde O(d^3)。2. 针对常数个半空间的函数以及常数次多项式阈值函数的多项式时间不可知学习算法。3. 针对 kk 个凸集的函数的 exp(O(dlog(dk)))\exp(O(d \log(dk))) 时间不可知学习算法,以及 exp(O(dlog(dk)))\exp(O(d \log(dk))) 采样量的容忍测试器;以及针对凸集的 2O~(d)2^{\widetilde O(d)} 基于采样的单边测试器。4. 针对 kk-交替函数的 exp(O~(kd))\exp(\widetilde O(k \sqrt d)) 时间不可知学习算法,以及具有相同复杂度的基于采样的容忍测试器。

关键词

引用

@article{arxiv.2007.07449,
  title  = {Downsampling for Testing and Learning in Product Distributions},
  author = {Nathaniel Harms and Yuichi Yoshida},
  journal= {arXiv preprint arXiv:2007.07449},
  year   = {2021}
}

备注

48 pages, 1 figure. Updated to include some new results; in particular the monotonicity tester now has 1-sided error