具有半臂反馈的随机在线共形预测
机器学习
2025-05-28 v3
摘要
共形预测已成为一种有效的量化不确定性策略，通过修改模型以输出标签集而不是单个标签。这些预测集带有保证，即它们以高概率包含真实标签。然而，共形预测通常需要大量独立同分布示例的校准数据集。我们考虑在线学习设置，其中示例随时间到达，目标是动态构建预测集。与现有工作不同，我们假设半臂反馈，即只有当真实标签包含在预测集中时我们才观察到它。例如，考虑将文档检索模型校准到新领域；在这种情况下，只有当目标文档在检索文档的预测集中时，用户才能提供真实标签。我们针对此设置提出了一种新颖的共形预测算法，并证明与最优共形预测器相比，它获得了次线性遗憾。我们在检索任务、图像分类任务和拍卖定价任务上评估了我们的算法，并经验性地表明与几种基线相比，它实现了良好的性能。
引用
@article{arxiv.2405.13268,
title = {Stochastic Online Conformal Prediction with Semi-Bandit Feedback},
author = {Haosen Ge and Hamsa Bastani and Osbert Bastani},
journal= {arXiv preprint arXiv:2405.13268},
year = {2025}
}