改进且基于预言机高效的在线 $\ell_1$-多校准
机器学习
2025-05-30 v2 数据结构与算法
摘要
我们研究在线多校准——一种在对抗性设置下确保跨多个组的预测校准的框架,涵盖 轮。虽然在线校准通常研究 范数,但此前在线多校准的方法采用间接途径,先在其他范数(如 和 )中获得速率,再以额外损失将这些保证转移到 。相比之下,我们提出了一种直接方法,分别实现了 和 的改进且预言机高效的在线 -多校准速率。我们的关键洞察是将在线 -多校准归约为一种具有乘积奖励的在线学习问题,我们称之为在线线性-乘积优化(OLPO)。为获得 的改进速率,我们引入了 OLPO 的线性化并为此线性化问题设计了无悔算法。尽管该方法保证了所需的次线性速率(接近在线校准的最佳速率),但当组族 很大或无限时,由于枚举了所有可能的组,其计算代价高昂。为解决可扩展性问题,我们提出了 OLPO 的第二种方法,仅对离线优化(多校准评估)预言机进行多项式次调用,从而实现了速率为 的预言机高效在线 -多校准。我们的框架还通过利用 -多校准误差相对于 的 1-Lipschitz 性质,扩展到某些无限组族(例如上下文空间上的所有线性函数)。
引用
@article{arxiv.2505.17365,
title = {Improved and Oracle-Efficient Online $\ell_1$-Multicalibration},
author = {Rohan Ghuge and Vidya Muthukumar and Sahil Singla},
journal= {arXiv preprint arXiv:2505.17365},
year = {2025}
}
备注
Accepted to ICML 2025