中文

平滑提升的样本复杂度与硬核定理的紧致性

计算复杂性 2024-09-19 v1 数据结构与算法 机器学习 机器学习

摘要

平滑提升器生成的分布不会对任何给定样本施加过多权重。平滑提升器最初因其抗噪特性而被引入,如今已在差分隐私、可复现性和量子学习理论中找到应用。我们研究并解决了平滑提升的样本复杂度:我们构造了一个类别,该类别可以通过 mm 个样本在平滑分布上以 γ\gamma-优势被弱学习,而在均匀分布上的强学习则需要 Ω~(1/γ2)m\tilde{\Omega}(1/\gamma^2)\cdot m 个样本。这与现有平滑提升器的开销相匹配,并首次实现了与分布无关提升设置的分离,后者的相应开销为 O(1/γ)O(1/\gamma)。我们的工作也为复杂性理论中的 Impagliazzo 硬核定理提供了新的视角,该定理的所有已知证明都可以在平滑提升的框架下表述。对于针对规模为 ss 的电路具有轻度难度的函数 ff,硬核定理提供了一个输入集合,在该集合上 ff 针对规模为 ss' 的电路具有极高难度。这一重要结果的缺陷在于电路规模的损失,即 sss' \ll s。回答 Trevisan 的一个问题,我们证明了这种规模损失是必要的,事实上,已知证明所达到的参数已经是最优的。

关键词

引用

@article{arxiv.2409.11597,
  title  = {The Sample Complexity of Smooth Boosting and the Tightness of the Hardcore Theorem},
  author = {Guy Blanc and Alexandre Hayderi and Caleb Koch and Li-Yang Tan},
  journal= {arXiv preprint arXiv:2409.11597},
  year   = {2024}
}

备注

46 pages, FOCS 2024