在在线保 conformal 预测中贝叶斯方法的优势

基于保 conformal 预测（CP）框架，我们研究给定黑箱机器学习模型的在线置信区间构建。通过将目标置信水平转换为分位数水平，问题可归约为预测逐步揭示的数据序列的分位数。之前的研究有两种截然不同的方法：（i）假设数据序列为iid或可交换，可维护观察数据分布的经验分布作为算法信念，直接预测其分位数。（ii）由于统计假设脆弱，近期趋势是考虑非分布式、对抗性环境并应用一阶在线优化算法来移动分位数损失。然而，这需要对目标分位数水平的先验知识，并因损失线性化而遭遇previously被忽视的单调性问题。本文提出一种自适应CP算法，结合了两种方法的优势。无需任何统计假设，即可以低后悔情况下回答多个任意置信水平查询，并且克服了一阶优化基线所遭遇的单调性问题。此外，如果数据序列实际为iid，则该算法自动具备“正确”的覆盖概率保证。为实现这些优势，我们的关键技术创新是对上述算法信念（经验分布）进行贝叶斯先验正则化，通过模拟在输出上的非线性化跟随正则化者（Follow the Regularized Leader, FTRL）算法来增强其鲁棒性。这种信念更新主干被用于针对不同置信水平的预测头，这带来了类似最近提出的U-calibration概念（Kleinberg等，2023）的实际优势。