中文

无界损失下的无悔学习:对数池化情形

机器学习 2023-10-11 v2 机器学习

摘要

TT 个时间步的每一步中,mm 个专家报告关于 nn 个结果的概率分布;我们希望学习以某种方式聚合这些预测,从而获得无悔保证。我们关注一种基础且实用的聚合方法——对数池化(logarithmic pooling,即对数几率的加权平均),若以最小化对数损失(我们将其作为损失函数)为兴趣,则该方法在某种意义上是池化方法的最优选择。我们考虑在在线对抗设定中学习最佳参数集(即专家权重)的问题。我们(出于必要)假设结果和预测的对抗性选择是一致的,即专家报告经校准的预测。施加该约束创造了一种(据我们所知)新颖的半对抗设定,其中对手仍保留很大灵活性。在此设定下,我们提出一种基于在线镜像下降的算法,以学习专家权重,从而实现与事后最佳权重相比 O(TlogT)O(\sqrt{T} \log T) 的期望后悔。

关键词

引用

@article{arxiv.2202.11219,
  title  = {No-Regret Learning with Unbounded Losses: The Case of Logarithmic Pooling},
  author = {Eric Neyman and Tim Roughgarden},
  journal= {arXiv preprint arXiv:2202.11219},
  year   = {2023}
}

备注

21 pages