回音室中的学习：带有回放对手的在线学习

随着机器学习系统越来越多地在自标注数据上进行训练，它们面临强化错误并成为自身信念回音室的风险。我们通过引入一个学习理论框架对此现象进行建模：回放设置下的在线学习。在第 $t$ 轮，学习者输出一个假设 $\hat{h}_t$；随后对手要么揭示真实标签 $f^\ast(x_t)$，要么揭示来自较早轮次 $i < t$ 的回放标签 $\hat{h}_i(x_t)$。只有当展示真实标签时才计为一次错误，然而诸如 SOA 或减半算法等经典算法很容易被回放错误所误导。我们引入了扩展阈值维度 $\mathrm{ExThD}(\mathcal{H})$，并证明了匹配的上下界，使得 $\mathrm{ExThD}(\mathcal{H})$ 成为该模型中可学习性的精确度量。基于闭包的学习者面对任何自适应对手最多犯 $\mathrm{ExThD}(\mathcal{H})$ 次错误，且没有任何算法能做得更好。对于随机对手，我们证明了每个交集封闭类都有类似的界。回放设置在可证明意义上比经典错误界设置更难：某些类具有常数 Littlestone 维度，但 $\mathrm{ExThD}(\mathcal{H})$ 却任意大。恰当学习表现出更尖锐的分离：一个类在回放下可恰当学习当且仅当它（几乎）是交集封闭的。否则，每个恰当学习者都会遭受 $\Omega(T)$ 次错误，而我们的非恰当算法仍能达到 $\mathrm{ExThD}(\mathcal{H})$ 界。这些结果基于闭包类算法的新结果，给出了针对回放对手学习的首个紧致分析。