中文

顺序校准的 $T^{2/3}$ 界限突破

机器学习 2024-11-19 v3 数据结构与算法 机器学习

摘要

一组概率性预测若要经过校准,需在该预测所作出的时刻子集上,其预测值与结果的经验分布密切接近。我们研究在线校准预测二元序列的基本问题,这一问题最初由 Foster & Vohra (1998) 进行研究。他们推导出在 T 个时间步后具有 O(T2/3)O(T^{2/3}) 校准误差的算法,并证明了下界为 Ω(T1/2)\Omega(T^{1/2})。这些界限停滞了两十年,直到 Qiao & Valiant (2021) 通过引入称为符号保持的组合游戏,提高了下界至 Ω(T0.528)\Omega(T^{0.528}),并指出该游戏的下界意味着校准的下界。本文首次改进 Foster & Vohra 的 O(T2/3)O(T^{2/3}) 上界。我们提出了 Qiao & Valiant 游戏的一个变体,称为符号保持可复用(SPR)。我们证明了 SPR 与校准预测之间的关系是双向的:不仅是 SPR 的下界转化为校准的下界,更有算法解决 SPR 也转化为校准算法。随后,我们给出 SPR 游戏的改进上界,从而通过我们的等价性,导出一个校准误差为 O(T2/3ε)O(T^{2/3 - \varepsilon})(其中 ε>0\varepsilon > 0)的预测算法,首次改进了 Foster & Vohra 的上界。使用类似思想,我们进一步证明了一个略强于 Qiao & Valiant 下界的结果,即 Ω(T0.54389)\Omega(T^{0.54389})。我们的下界来自一个不记忆性对手,标志着首个 ω(T1/2)\omega(T^{1/2}) 的不记忆性校准下界。

关键词

引用

@article{arxiv.2406.13668,
  title  = {Breaking the $T^{2/3}$ Barrier for Sequential Calibration},
  author = {Yuval Dagan and Constantinos Daskalakis and Maxwell Fishelson and Noah Golowich and Robert Kleinberg and Princewill Okoroafor},
  journal= {arXiv preprint arXiv:2406.13668},
  year   = {2024}
}