无基测度知识的不可知平滑在线学习

统计学习中的经典结果通常考虑两种极端数据生成模型：来自未知分布的独立同分布实例，或完全对抗性实例，后者在统计上更具挑战性。为弥合这两种模型之间的差距，最近的工作引入了平滑框架，在每次迭代中，对手生成受约束的分布实例，其密度相对于某个固定基测度 $\mu$ 的上界为 $\sigma^{-1}$。该框架在 $\sigma$ 的值上在 i.i.d. 和对抗性案例之间进行插值。对于经典的在线预测问题，大多数先前在平滑在线学习中的结果依赖于对手方强烈假设即基测度 $\mu$ 被学习者知晓，这与 PAC 学习或一致性文献中的标准设置相对立。我们考虑基测度未知且数值任意的通用不可知问题。在此方向上，Block 等人表明经验风险最小化在 well-specified 假设下可实现亚线性后悔。我们提出一种基于递归覆盖的算法 R-Cover，是首个在基测度先验知识的情况下为不可知平滑在线学习保证亚线性后悔。对于分类，我们证明 R-Cover 对函数类的自适应后悔为 $\tilde O(\sqrt{dT/\sigma})$，在对数因子上达到最优。对于回归，我们证明 R-Cover 对函数类的亚线性无知后悔在多项式 fat-shattering 维数增长下成立。