中文

单变量光滑函数在线学习的更紧界

机器学习 2021-06-01 v1 离散数学 机器学习

摘要

我们研究错误界模型对连续实值单变量函数的推广。令 Fq\mathcal{F}_q 为满足 fq1||f'||_q \le 1 的绝对连续函数 f:[0,1]Rf: [0, 1] \rightarrow \mathbb{R} 的类,并定义 optp(Fq)opt_p(\mathcal{F}_q) 为对任意次数的试验中绝对预测误差的 pp 次幂之和在最坏情形下的可能最优界。Kimber 与 Long(Theoretical Computer Science, 1995)证明了对于 q2q \ge 2,当 p2p \ge 2optp(Fq)=1opt_p(\mathcal{F}_q) = 1,而当 p=1p = 1optp(Fq)=opt_p(\mathcal{F}_q) = \infty。对于 1<p<21 < p < 2p=1+ϵp = 1+\epsilon,唯一已知的界来自同一篇论文的 optp(Fq)=O(ϵ1)opt_p(\mathcal{F}_{q}) = O(\epsilon^{-1})。我们证明对所有 ϵ(0,1)\epsilon \in (0, 1)q2q \ge 2opt1+ϵ(Fq)=Θ(ϵ12)opt_{1+\epsilon}(\mathcal{F}_q) = \Theta(\epsilon^{-\frac{1}{2}}),其中界中的常数不依赖于 qq。我们还证明 opt1+ϵ(F)=Θ(ϵ12)opt_{1+\epsilon}(\mathcal{F}_{\infty}) = \Theta(\epsilon^{-\frac{1}{2}})

关键词

引用

@article{arxiv.2105.14648,
  title  = {Sharper bounds for online learning of smooth functions of a single variable},
  author = {Jesse Geneson},
  journal= {arXiv preprint arXiv:2105.14648},
  year   = {2021}
}