conformal prediction 中的长度优化
机器学习
2024-12-12 v3 人工智能
机器学习
统计方法学
摘要
条件有效性和长度效率是conformal prediction (CP)的两个关键方面。条件有效性确保了对数据子群的准确不确定性定量，而proper长度效率确保预测集合保持信息性。尽管已有大量工作分别解决这两个问题，但在CP文献中尚缺乏一种原则性框架来协调这两个目标。本文发展了具有长度优化的conformal prediction (CPL)——一种新型且实用的框架，用于构建具有(近)最优长度的预测集合，同时确保在各种协变量漂移下保持条件有效性，包括边际条件覆盖和小组条件覆盖等关键情况。在无限样本 regime中，我们提供了强对偶结果，表明CPL实现了条件有效性和长度最优性。在有限样本 regime中，我们展示了CPL构建条件有效的预测集合。我们的广泛实证评估表明，CPL在分类、回归和大语言模型驱动的多选题回答等 diverse 实际和合成数据集上，比现有SOTA方法在预测集合大小方面表现更优。我们的算法实现可在以下链接获取：https://github.com/shayankiyani98/CP
引用
@article{arxiv.2406.18814,
title = {Length Optimization in Conformal Prediction},
author = {Shayan Kiyani and George Pappas and Hamed Hassani},
journal= {arXiv preprint arXiv:2406.18814},
year = {2024}
}