具有非平凡节省的不可知成员查询学习:新结果与技巧
机器学习
2023-11-14 v1 计算复杂性
机器学习
摘要
(删节版)在不可知学习模型(Haussler, 1992; Kearns et al., 1994)中设计计算高效的算法是出了名的困难。在这项工作中,我们考虑针对不可知学习前沿的试金石类,使用成员查询进行不可知学习,重点关注相对于 的平凡运行时间可以节省多少计算量。该方法受“具有非平凡节省的学习”(Servedio and Tan, 2017)研究的启发并延续了该研究。为此,我们建立了多种不可知学习算法,重点包括:1. 针对由亚线性个门组成的电路的不可知学习算法,其中每个门可以是任意可由亚对数次数 k 多项式阈值函数计算的函数(电路深度仅受大小限制)。该算法在 上未标记样本的均匀分布下运行时间为 ,其中 。2. 针对由亚线性个门组成的电路的不可知学习算法,其中每个门可以是任意可由亚指数大小、亚对数次数 k 的 电路计算的函数。该算法运行时间为 ,其中 ,并在未标记样本的分布上学习,这些分布是 个任意且未知的分布的乘积,每个分布定义在 上(不失一般性地假设 整除 )。
引用
@article{arxiv.2311.06690,
title = {Agnostic Membership Query Learning with Nontrivial Savings: New Results, Techniques},
author = {Ari Karchmer},
journal= {arXiv preprint arXiv:2311.06690},
year = {2023}
}