中文

次模函数与 XOS 函数低次谱集中性的紧界

数据结构与算法 2015-08-04 v2 机器学习

摘要

次模函数和分数次可加函数(或等价地 XOS 函数)在组合优化、算法博弈论和机器学习中发挥着基础作用。受从随机样本中学习这类函数可学习性的启发,我们研究了此类函数在均匀分布下能被低次多项式在 2\ell_2 范数中逼近到何种程度的问题。该问题等价于理解傅里叶权重在低次系数上的集中性,这是傅里叶分析中的一个核心概念。我们证明:1. 对于任意次模函数 f:{0,1}n[0,1]f:\{0,1\}^n \rightarrow [0,1],存在一个次数为 O(log(1/ϵ)/ϵ4/5)O(\log (1/\epsilon) / \epsilon^{4/5}) 的多项式,能在 2\ell_2 范数内以 ϵ\epsilon 误差逼近 ff,且存在一个次模函数需要 Ω(1/ϵ4/5)\Omega(1/\epsilon^{4/5}) 的次数。2. 对于任意 XOS 函数 f:{0,1}n[0,1]f:\{0,1\}^n \rightarrow [0,1],存在一个次数为 O(1/ϵ)O(1/\epsilon) 的多项式,且存在一个 XOS 函数需要 Ω(1/ϵ)\Omega(1/\epsilon) 的次数。这改进了以往所有针对次模和 XOS 函数仅给出 O(1/ϵ2)O(1/\epsilon^2) 上界的方法。此前针对单调次模函数的最佳下界为 Ω(1/ϵ2/3)\Omega(1/\epsilon^{2/3})。我们的技术揭示了次模和 XOS 函数的新结构性质,而这些上界导出了针对此类函数近乎最优的 PAC 学习算法。

关键词

引用

@article{arxiv.1504.03391,
  title  = {Tight Bounds on Low-degree Spectral Concentration of Submodular and XOS functions},
  author = {Vitaly Feldman and Jan Vondrak},
  journal= {arXiv preprint arXiv:1504.03391},
  year   = {2015}
}