光滑函数的在线学习

本文研究实值函数的在线学习，其中隐藏函数已知具有某些光滑性性质。具体地，对 $q \ge 1$，令 $\mathcal F_q$ 为绝对连续函数 $f: [0,1] \to \mathbb R$ 且 $\|f'\|_q \le 1$ 的类。对 $q \ge 1$ 和 $d \in \mathbb Z^+$，令 $\mathcal F_{q,d}$ 为函数 $f: [0,1]^d \to \mathbb R$ 的类，使得固定 $f$ 除一个参数外所有参数所形成的任意函数 $g: [0,1] \to \mathbb R$ 均属于 $\mathcal F_q$。对任意实值函数类 $\mathcal F$ 和 $p>0$，令 $\text{opt}_p(\mathcal F)$ 为学习器在最坏情况下可保证的绝对预测误差的 $p$ 次幂之和的最佳上界。在单变量情形下，我们给出了 $\text{opt}_p(\mathcal F_q)$ 的新界，其紧致性直至常数因子。我们对所有 $\varepsilon \in (0, 1)$ 证明 $\text{opt}_{1+\varepsilon}(\mathcal{F}_{\infty}) = \Theta(\varepsilon^{-\frac{1}{2}})$，且对所有 $q \ge 2$ 有 $\text{opt}_{1+\varepsilon}(\mathcal{F}_q) = \Theta(\varepsilon^{-\frac{1}{2}})$。我们还证明对 $\varepsilon \in (0,1)$ 有 $\text{opt}_2(\mathcal F_{1+\varepsilon})=\Theta(\varepsilon^{-1})$。此外，我们证明对 $q \in (1,2)$ 和 $p \ge 2+\frac{1}{q-1}$ 有 $\text{opt}_p(\mathcal F_q)=1$，从而得到新的精确结果。在多变量情形下，我们建立了将 $\text{opt}_p(\mathcal F_{q,d})$ 与 $\text{opt}_p(\mathcal F_q)$ 关联的不等式，并证明当 $p<d$ 时 $\text{opt}_p(\mathcal F_{\infty,d})$ 为无穷，而当 $p>d$ 时为有限。我们还给出了在试验次数有界时 $p < d$ 下学习 $\mathcal F_{\infty,d}$ 的紧致界。