中文

单调函数的不可知正确学习:超越黑盒校正壁垒

数据结构与算法 2023-05-25 v3 机器学习

摘要

我们给出了首个针对单调布尔函数的不可知、高效、正确学习算法。给定未知函数 f:{±1}n{±1}f:\{\pm 1\}^n \rightarrow \{\pm 1\}2O~(n/ε)2^{\tilde{O}(\sqrt{n}/\varepsilon)} 个均匀随机样本,我们的算法输出一个单调且距 ff(opt+ε)(\mathrm{opt} + \varepsilon) 的假设 g:{±1}n{±1}g:\{\pm 1\}^n \rightarrow \{\pm 1\},其中 opt\mathrm{opt}ff 到最近单调函数的距离。算法的运行时间(以及随之而来的假设的大小与评估时间)亦为 2O~(n/ε)2^{\tilde{O}(\sqrt{n}/\varepsilon)},几乎匹配 Blais 等人(RANDOM '15)的下界。我们还给出了一个以 2O~(n/ε)2^{\tilde{O}(\sqrt{n}/\varepsilon)} 运行时间估计未知函数 ff 到单调性的距离(加性误差 ε\varepsilon 内)的算法。此前,对这两个问题均已知样本高效算法,但这些算法运行时间不高效。我们的工作由此弥合了运行时间与样本复杂度认知上的鸿沟。本工作建立在 Bshouty 与 Tamon(JACM '96)的非正确学习算法,以及 Lange、Rubinfeld 与 Vasilyan(FOCS '22)的正确半不可知学习算法之上,后者获得一个非单调的布尔值假设,随后利用图上查询高效的局部计算算法将其“校正”为单调。该黑盒校正方法在信息论上无法取得优于 2opt+ε2\mathrm{opt} + \varepsilon 的误差;我们通过 a) 以凸优化步骤增强非正确学习器,以及 b) 在学习并将实值函数校正为单调后再将其值舍入为布尔,绕过了该壁垒。我们的实值校正算法解决了 [LRV22] 中关于具有非布尔标签的一般偏序集上函数的“偏序集排序”问题。

关键词

引用

@article{arxiv.2304.02700,
  title  = {Agnostic proper learning of monotone functions: beyond the black-box correction barrier},
  author = {Jane Lange and Arsen Vasilyan},
  journal= {arXiv preprint arXiv:2304.02700},
  year   = {2023}
}