我们何时可以重复使用校准集进行多次 conformal 预测吗？
机器学习
2025-06-25 v1 人工智能
统计理论
统计理论
摘要
可靠的不确定性定量化对于机器学习应用的可信度至关重要。归纳式 conformal 预测 (ICP) 提供了一个分布无关的框架，用于生成具有用户指定置信水平的预测集合或区间。然而，标准ICP保证的是边缘化的，通常需要为每个新的预测获取新的校准集以维持其有效性。本文通过演示如何结合 Hoeffding 不等式，使 e-conformal 预测能够在高概率下重复使用单个校准集而仍能保持所需的覆盖率。我们对 CIFAR-10 数据集进行案例研究，训练一个深度神经网络并利用校准集估计 Hoeffding 校正。该校正允许我们应用修改后的马尔可夫不等式，从而构建具有可量化置信度的预测集合。我们的结果说明了在保持可证明性能的同时，通过减少重复校准的需求，提高了 conformal 预测的实用性。该工作的代码已公开提供。
引用
@article{arxiv.2506.19689,
title = {When Can We Reuse a Calibration Set for Multiple Conformal Predictions?},
author = {A. A. Balinsky and A. D. Balinsky},
journal= {arXiv preprint arXiv:2506.19689},
year = {2025}
}