中文

鲁棒学习离散乘积分布与伊辛模型的最优 SQ 下界

数据结构与算法 2022-06-10 v1 机器学习 统计理论 机器学习 统计理论

摘要

我们为鲁棒学习某些离散高维分布族建立了最优统计查询(Statistical Query, SQ)下界。具体而言,我们表明,在能够访问 ϵ\epsilon-污染的二元乘积分布的情况下,没有任何高效的 SQ 算法能在 2\ell_2 误差 o(ϵlog(1/ϵ))o(\epsilon \sqrt{\log(1/\epsilon)}) 内学习其均值。类似地,我们表明,在能够访问 ϵ\epsilon-污染的铁磁高温伊辛模型的情况下,没有任何高效的 SQ 算法能将模型学习到总变分距离 o(ϵlog(1/ϵ))o(\epsilon \log(1/\epsilon)) 内。我们的 SQ 下界与这些问题的已知算法的误差保证相匹配,提供了证据表明这些任务当前的上界是最佳可能的。在技术层面,我们从低维矩匹配构造出发,开发了针对离散高维分布的通用 SQ 下界,我们相信这将有其他应用。此外,我们引入了新思路来分析这些针对离散单变量分布的矩匹配构造。

关键词

引用

@article{arxiv.2206.04589,
  title  = {Optimal SQ Lower Bounds for Robustly Learning Discrete Product Distributions and Ising Models},
  author = {Ilias Diakonikolas and Daniel M. Kane and Yuxin Sun},
  journal= {arXiv preprint arXiv:2206.04589},
  year   = {2022}
}

备注

To appear in COLT 2022