中文

关于可复制学习的计算景观

机器学习 2024-12-03 v2 机器学习

摘要

我们研究算法可复制性的计算方面,这是Impagliazzo、Lei、Pitassi和Sorrell [2022]引入的一种稳定性概念。受最近一系列工作的启发,这些工作建立了可复制性与在线学习、私有学习和SQ学习等其他可学习性概念之间的强统计联系,我们旨在更好地理解可复制性与这些学习范式之间的计算联系。我们的第一个结果表明,存在一个概念类可以高效地可复制PAC学习,但在标准密码学假设下,不存在针对该类的有效在线学习器。随后,我们设计了一个高效的可复制学习器,用于在边际分布远离均匀时PAC学习奇偶性,这推进了Impagliazzo等人[2022]提出的问题。为了获得这个结果,我们设计了一个受Blanc、Lange、Malik和Tan [2023]启发的可复制提升框架,该框架以黑盒方式将布尔超立方体上均匀边际分布下的高效可复制PAC学习器转换为任意边际分布下的可复制PAC学习器,其样本和时间复杂度取决于分布复杂性的某种度量。最后,我们证明任何纯DP学习器都可以转化为可复制学习器,其时间多项式依赖于精度、置信参数,并指数依赖于底层假设类的表示维度。

关键词

引用

@article{arxiv.2405.15599,
  title  = {On the Computational Landscape of Replicable Learning},
  author = {Alkis Kalavasis and Amin Karbasi and Grigoris Velegkas and Felix Zhou},
  journal= {arXiv preprint arXiv:2405.15599},
  year   = {2024}
}

备注

to be published in NeurIPS 2024