具有 Massart 噪声的半空间在线学习

我们研究了在 Massart 噪声存在下的在线学习任务。我们不假设在线对手选择任意的标签序列，而是假设上下文 $\mathbf{x}$ 是对抗性选择的，但呈现给学习者的标签 $y$ 与 $\mathbf{x}$ 的真实标签不一致的未知概率至多为 $\eta$。我们研究了 $\gamma$-间隔线性分类器这一基础类，并提出了一种计算高效的算法，实现了错误界 $\eta T + o(T)$。我们的错误界对于高效算法而言是定性紧的：已知即使在离线设置中，在 SQ 模型中实现优于 $\eta$ 的分类误差也需要超多项式时间。我们将我们的在线学习模型扩展到 $k$-臂上下文赌博机设置，其中奖励——不满足常用的可实现性假设——而是与某个权重向量为 $\mathbf{w}^\ast$ 的线性排序函数（在期望上）一致。给定上下文列表 $\mathbf{x}_1,\ldots \mathbf{x}_k$，如果 $\mathbf{w}^*\cdot \mathbf{x}_i > \mathbf{w}^* \cdot \mathbf{x}_j$，则动作 $i$ 的期望奖励必须比 $j$ 的期望奖励至少大 $\Delta$。我们使用我们的 Massart 在线学习器设计了一种高效的赌博机算法，与每轮随机选择动作相比，该算法获得的期望奖励至少多出 $(1-1/k)~ \Delta T - o(T)$。