中文

改进且基于预言机高效的在线 $\ell_1$-多校准

机器学习 2025-05-30 v2 数据结构与算法

摘要

我们研究在线多校准——一种在对抗性设置下确保跨多个组的预测校准的框架,涵盖 TT 轮。虽然在线校准通常研究 1\ell_1 范数,但此前在线多校准的方法采用间接途径,先在其他范数(如 2\ell_2\ell_{\infty})中获得速率,再以额外损失将这些保证转移到 1\ell_1。相比之下,我们提出了一种直接方法,分别实现了 O~(T1/3)\widetilde{\mathcal{O}}(T^{-1/3})O~(T1/4)\widetilde{\mathcal{O}}(T^{-1/4}) 的改进且预言机高效的在线 1\ell_1-多校准速率。我们的关键洞察是将在线 1\ell_1-多校准归约为一种具有乘积奖励的在线学习问题,我们称之为在线线性-乘积优化(OLPO)。为获得 O~(T1/3)\widetilde{\mathcal{O}}(T^{-1/3}) 的改进速率,我们引入了 OLPO 的线性化并为此线性化问题设计了无悔算法。尽管该方法保证了所需的次线性速率(接近在线校准的最佳速率),但当组族 H\mathcal{H} 很大或无限时,由于枚举了所有可能的组,其计算代价高昂。为解决可扩展性问题,我们提出了 OLPO 的第二种方法,仅对离线优化(多校准评估)预言机进行多项式次调用,从而实现了速率为 O~(T1/4)\widetilde{\mathcal{O}}(T^{-1/4}) 的预言机高效在线 1\ell_1-多校准。我们的框架还通过利用 1\ell_1-多校准误差相对于 H\mathcal{H} 的 1-Lipschitz 性质,扩展到某些无限组族(例如上下文空间上的所有线性函数)。

关键词

引用

@article{arxiv.2505.17365,
  title  = {Improved and Oracle-Efficient Online $\ell_1$-Multicalibration},
  author = {Rohan Ghuge and Vidya Muthukumar and Sahil Singla},
  journal= {arXiv preprint arXiv:2505.17365},
  year   = {2025}
}

备注

Accepted to ICML 2025