单调函数的不可知正确学习:超越黑盒校正壁垒
数据结构与算法
2023-05-25 v3 机器学习
摘要
我们给出了首个针对单调布尔函数的不可知、高效、正确学习算法。给定未知函数 的 个均匀随机样本,我们的算法输出一个单调且距 为 的假设 ,其中 为 到最近单调函数的距离。算法的运行时间(以及随之而来的假设的大小与评估时间)亦为 ,几乎匹配 Blais 等人(RANDOM '15)的下界。我们还给出了一个以 运行时间估计未知函数 到单调性的距离(加性误差 内)的算法。此前,对这两个问题均已知样本高效算法,但这些算法运行时间不高效。我们的工作由此弥合了运行时间与样本复杂度认知上的鸿沟。本工作建立在 Bshouty 与 Tamon(JACM '96)的非正确学习算法,以及 Lange、Rubinfeld 与 Vasilyan(FOCS '22)的正确半不可知学习算法之上,后者获得一个非单调的布尔值假设,随后利用图上查询高效的局部计算算法将其“校正”为单调。该黑盒校正方法在信息论上无法取得优于 的误差;我们通过 a) 以凸优化步骤增强非正确学习器,以及 b) 在学习并将实值函数校正为单调后再将其值舍入为布尔,绕过了该壁垒。我们的实值校正算法解决了 [LRV22] 中关于具有非布尔标签的一般偏序集上函数的“偏序集排序”问题。
引用
@article{arxiv.2304.02700,
title = {Agnostic proper learning of monotone functions: beyond the black-box correction barrier},
author = {Jane Lange and Arsen Vasilyan},
journal= {arXiv preprint arXiv:2304.02700},
year = {2023}
}