从预测到置信区间：基于 conformal prediction 方法的 in-context learning 实证研究
机器学习
2025-04-23 v1 机器学习
摘要
Transformer 已成为机器学习中的标准架构，展现出强大的 in-context learning（ICL）能力，使其能在推理时从提示中学习。然而，ICL 的不确定性量化仍是一个开放挑战，尤其是在噪声回归任务中。本文探讨是否可利用 ICL 进行分布无关的不确定性估计，提出一种基于 conformal prediction 的方法，用于构建具有保证覆盖率的预测区间。虽然传统的 conformal 方法因重复模型拟合而计算代价高昂，但我们利用 ICL 在单次前向传播中高效生成置信区间。我们的实证分析将该方法与基于岭回归的 conformal 方法进行比较，表明带 ICL 的 conformal prediction（CP with ICL）实现了稳健且可扩展的不确定性估计。此外，我们评估了其在分布迁移下的表现，并建立了规模定律以指导模型训练。这些发现搭建了 ICL 与 conformal prediction 之间的桥梁，为基于 Transformer 模型的不确定性量化提供了理论上有据可取且新的框架。
引用
@article{arxiv.2504.15722,
title = {From predictions to confidence intervals: an empirical study of conformal prediction methods for in-context learning},
author = {Zhe Huang and Simone Rossi and Rui Yuan and Thomas Hannagan},
journal= {arXiv preprint arXiv:2504.15722},
year = {2025}
}