在线与直推式在线学习中错误与 ERM 预言机调用之间的权衡

我们研究在线与直推式在线学习，其中学习者仅通过经验风险最小化（ERM）或弱一致性预言机在任意实例子集上与概念类交互。这与学习者已知整个类的标准在线模型形成对比。ERM 预言机返回在给定子集上最小化损失的假设，而弱一致性预言机返回一个二元信号，指示该子集是否可由某个概念实现。学习者通过错误数量和预言机调用次数来评估。在具有 ERM 访问权限的标准在线设置中，我们证明了可实现和不可知情况下的紧下界：$\Omega(2^{d_{VC}})$ 次错误和 $\Omega(\sqrt{T 2^{d_{LD}}})$ 遗憾，其中 $T$ 是时间步数，$d_{LD}$ 是 Littlestone 维度。我们进一步表明，具有 ERM 访问权限的现有在线学习结果可推广到弱一致性设置，在预言机调用中产生额外的 $O(T)$ 开销。然后我们考虑直推式在线模型，其中实例序列已知但标签按顺序揭示。对于一般 Littlestone 类，我们证明使用 $O(T^{d_{VC}+1})$ 次弱一致性预言机调用可实现最优的可实现和不可知错误界限。在负面结果方面，我们表明将学习者限制为 $\Omega(T)$ 次弱一致性查询是直推式在线可学习性所必需的，而将学习者限制为 $\Omega(T)$ 次 ERM 查询对于避免对 Littlestone 维度的指数依赖是必需的。最后，对于某些概念类，我们通过随机算法减少预言机调用，同时保持类似的错误界限。特别是，对于未知排序上的阈值，$O(\log T)$ 次 ERM 查询即可满足；对于 $k$-区间，$O(T^3 2^{2k})$ 次弱一致性查询即可满足。