中文

基于KL校准的同时交换后悔最小化

机器学习 2025-11-18 v2 数据结构与算法 计算机科学与博弈论

摘要

校准是确保概率预测可靠性、与实际结果一致的基本概念。近年来出现了一些新的校准措施,这些措施比传统的1\ell_1校准更易优化,同时仍对下游应用具有强大的影响。最近的一个例子是Fishelson等人(2025)展示,通过最小化平方损失的伪交换后悔,可实现O(T1/3)O(T^{1/3})的伪2\ell_2校准误差,这实际上还为所有有界且形式为光滑单变量函数的损失函数提供了相同的界限。本文在以下方面显著概括了他们的结果:(a)除了光滑单变量形式外,我们的算法还能为任何具有二次连续可微单变量形式的proper损失函数(如Tsallis熵)同时实现O(T1/3)O(T^{1/3})交换后悔;(b)我们的界限不仅适用于测量预测者分布导致损失的伪交换后悔,也适用于测量预测者实际实现预测导致的实际交换后悔。我们通过引入一种称为(伪)KL校准的新型更强的校准概念,证明其等价于(伪)对数损失的(伪)交换后悔。我们证明存在一种算法可实现O(T1/3)O(T^{1/3})KL校准误差,并提供一种显式算法实现O(T1/3)O(T^{1/3})伪KL校准误差。此外,我们表明相同算法可为具有光滑单变量形式的任何proper损失函数实现O(T1/3(logT)1/3log(T/δ))O(T^{1/3}(\log T)^{-1/3}\log(T/\delta))交换后悔概率≥1δ1-\delta,从而实现O(T1/3)O(T^{1/3})2\ell_2校准误差。我们工作的技术贡献是一种新的随机化四舍五一位过程和一种非均匀离散化方案,用于最小化对数损失的交换后悔。

关键词

引用

@article{arxiv.2502.16387,
  title  = {Simultaneous Swap Regret Minimization via KL-Calibration},
  author = {Haipeng Luo and Spandan Senapati and Vatsal Sharan},
  journal= {arXiv preprint arXiv:2502.16387},
  year   = {2025}
}

备注

NeurIPS 2025 (Spotlight)