无遗憾学习与在线共形预测之间的关系
机器学习
2025-02-18 v1 计算机科学与博弈论
机器学习
摘要
现有的在线共形预测算法——在对抗环境中保证边际覆盖——是在线梯度下降（OGD）的变体，但其最坏情况覆盖分析并不直接来自 OGD 的遗憾保证。无遗憾学习与在线共形预测之间存在怎样的关系？我们观察到，虽然标准的遗憾保证在独立同分布设置下蕴含边际覆盖，但一旦转向对抗环境或要求组条件覆盖，这一联系便不再成立。另一方面，我们证明了在对抗环境中，阈值校准覆盖与交换遗憾之间存在紧密联系，并可推广至组条件（多有效）覆盖。我们还证明，无遗憾学习算法族中的跟随扰动领导者算法族（包含在线梯度下降）可用于在对抗环境中为任意分组函数提供组条件覆盖保证。通过这一联系，我们分析并进行了实验，使用 Gibbs 与 Candes [2021] 的 ACI 算法的多组泛化版本。
引用
@article{arxiv.2502.10947,
title = {The Relationship between No-Regret Learning and Online Conformal Prediction},
author = {Ramya Ramalingam and Shayan Kiyani and Aaron Roth},
journal= {arXiv preprint arXiv:2502.10947},
year = {2025}
}