光滑函数在线学习的最坏情况误差界限

在线学习是一种机器学习模型，其中学习者在序列反馈中进行训练。我们研究实数函数在具有特定光滑性约束下的在线学习的 worst-case 误差。设$\mathcal{F}_q$为所有满足$\|f'\|_q \le 1$的在[0,1]上映射到$\mathbb{R}$的可微函数的集合，$\operatorname{opt}_p(\mathcal{F}_q)$为任何学习者保证对预测绝对误差第$p$次方之和的最佳上界。我们证明对于任意$\delta, \epsilon \in (0, 1)$，有$\operatorname{opt}_{1+\delta} (\mathcal{F}_{1+\epsilon}) = O(\min(\delta, \epsilon)^{-1})$。结合Kimber和Long（1995）以及Geneson和Zhou（2023）的前期结果，我们实现了对所有$p, q \ge 1$导致$\operatorname{opt}_p(\mathcal{F}_q)$为有限的价值进行完整表征，这是一个长达近30年未解的问题。我们研究光滑函数的学习情境，这些函数还属于某些特殊函数族，如多项式。我们证明Geneson和Zhou（2023）的猜想：学习$\mathcal{F}_q$中的多项式与学习任何一般函数$\mathcal{F}_q$的难度相同。我们还定义了一种带噪声的在线学习模型，其中学习者可能收到最多$\eta \ge 1$次错误反馈，最坏情况误差界限记为$\operatorname{opt}^{\text{nf}}_{p, \eta} (\mathcal{F}_q)$。我们证明$\operatorname{opt}^{\text{nf}}_{p, \eta} (\mathcal{F}_q)$为有限当且仅当$\operatorname{opt}_p(\mathcal{F}_q)$为有限。此外，我们证明对所有$p, q \ge 2$和$\eta \ge 1$，有$\operatorname{opt}^{\text{nf}}_{p, \eta} (\mathcal{F}_q) = \Theta (\eta)$。