生成式AI的自适应不确定性量化

本研究关注当代应用（包括生成式AI）中的共形预测(conformal prediction)，其中黑盒模型是在用户无法访问的数据上训练的。借鉴分裂共形推理(split-conformal inference)的思想，本文设计了一个围绕黑盒算法的包装器，用于校准一致性分数(conformity scores)。该校准是局部的，分两个阶段进行：首先自适应地将预测空间划分为若干组，然后逐组进行校准。自适应划分（自分组）通过拟合校准集上的一致性分数的鲁棒回归树来实现。这种新的树变体被设计为添加单个新观测值不会以压倒性概率改变树的拟合结果。这种单点添加鲁棒性(add-one-in robustness)性质使我们能够得出有限样本的组条件覆盖保证，这是边际保证的精细化。此外，与传统的分裂共形推理不同，自适应划分和组内校准产生了可以局部伸缩的自适应带。本文通过若干模拟实例和基于非参数回归的真实示例展示了局部紧缩的优势。最后，本文考虑了两个当代分类应用，以获得GPT-4o预测周围的不确定性量化。本文对基于自报症状的皮肤病诊断以及基于意识形态摘要的美国立法者预测状态进行了共形化处理。在保持相似边际覆盖的同时，展示了不确定性集合的显著局部紧缩。